Краткое описание

•  Мы ищем data engineer'ов разного уровня для усиления нашего направления, которое занимается разработкой систем прогнозирования спроса на товары, ценообразования, автоматического подбора оптимальных промо-акций и др.

Обязанности

• Помощь коллегам DS в оптимизации их работающих пайплайнов. Проактивность с предложениями оптимизации;
• Взаимодействие с коллегами DevOps по настройке окружений, деплоя кода, работы с инфраструктурой компании;
• Перенос кода расчетов из PostgreSQL на Spark и его последующие оптимизации;
• Настройка и поддержка стэндов с которых запускаются задания;
• Общение с коллегами DQ, выяснение деталей наполнения данных, участие в составлении БТ к данным;
• Написание ETL пайплайнов;
• Решение неожиданных проблем с данными, задержками их доставки;
• Настройка мониторинга разнообразных процессов;

Требования

• Уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0 (структуры данных, алгоритмы, концепции языка);
• Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов;
• Глубокие теоретические знания стека технологий и практический опыт (Spark, Hadoop, Hive);
• Linux;
• Опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP;
• Опыт оптимизаций sql-запросов и понимание оптимизаций на уровне spark catalyst;
• Опыт работы с MPP базами данных;
• Опыт работы с Airflow;
• Опыт работы с Postgres и Clickhouse;
• Знание и практический опыт использования Pandas и NumPy для продвинутой аналитики.
• Опыт работы с Kubernetes (K8S);
• Опыт Devops (Docker, Gitlab-CI, настройка окружения на серверах и др.);
• Опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными.

Условия 

• Работа в одной из самых сильных ML-команд. Сильный коллектив DE/DS/DA и других специалистов. Есть возможность постоянно учиться и перенимать опыт;
• Реальная Big Data с терабайтами данных и современным стеком технологий;
• Гибкий график работы;
• Гибкий формат работы: полная удаленка/гибрид/офис в Мск.
• Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского;
• Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;

Контактная информация

•  aperekrestova@rubbles.ru