Data engineer

Краткое описание

Команде Data team требуется engineer.

Aviata- одна из лидирующих компаний в области бронирования и продажи авиабилетов в Казахстане;

Команде Data team требуется engineer.

Нам предстоит выстроить единое хранилище данных для решения задач аналитики, реализовать надежную систему для работы с потоками данных, обеспечить высокое качество генерируемых данных и сделать их удобными для использования в работе.

Что нужно делать:

  • Участвовать в разработке отчетной системы;
  • Разрабатывать и поддерживать batch ETL-процессы (Python, SQL, Airflow);
  • Разрабатывать и поддерживать обработку потоков данных (Python, RabbitMQ);
  • Строить витрины данных;
  • Дорабатывать и развивать хранилище данных;
  • Интегрировать новые источники данных в DWH;
  • Реализовывать проверки качества данных DQ;
  • Внедрять новые инструменты по работе с данными в компании;
  • В ходе работы выстраивать процессы коммуникации с заказчиками.

Возможности:

  • Принять участие в построении хранилища данных на ранних этапах;
  • Поработать с потоками данных в event-based архитектуре;
  • Получить опыт работы с данными из различных доменных областей.

Требования:

  • Хорошое знание SQL - оконные функции, сложные join'ы и подзапросы
  • Опыт оптимизации больших SQL запросов
  • Понимание принципов работы реляционных и колоночных СУБД
  • Опыт проектирования DWH - моделирование данных, разбиение по слоям
  • Хорошое знание Python (навыки работы с Pandas будут плюсом)
  • Опыт построения data pipeline’ов при помощи Airflow
  • Владение инструментами - Git, Docker
  • Навыки работы с NoSQL СУБД
  • Будет плюсом - знание технологий DBT, Greenplum, Spark, Data Lake, k8s

Мы предлагаем:

  • Сильная команда. Ребята постоянно прокачиваются, много читают и любят свое дело. Мы гордимся не только тем, какие у нас профессионалы, но и тем какие они личности.

  • Обучение за счёт компании. Если хотите пройти курсы или пойти на конференцию, связанную с вашей областью, компания готова оплатить стоимость обучения.

  • Библиотека с профессиональной литературой. Мы регулярно обновляем список книг, которые можно читать в офисе и брать домой.

806