Data Engineer Python + Spark / Инженер по обработке данных
- Уровень дохода не указан
-
г.Алматы
Whatsapp
Краткое описание
- Мы ищем Data Engineer'ов для участия во внутренних проектах на стадии presale. Основные обязанности будут включать в себя переосмысление и оптимизацию текущих витрин данных, генерацию данных, разработку новых ETL-процессов, а также сбор и анализ требований от различных команд внутри компании.
Обязанности
- Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow);
- Разработка коннекторов к системам-источникам данных и системам-потребителям;
- Организация потоков данных в рамках микросервисной архитектуры платформы;
- Разработка схемы данных компонентов платформы в едином информационном поле;
- Работа c различными системами хранения (Clickhouse, PostgreSQL, Redis);
- Разработка пайплайнов с Kafka;
- Написание генераторов тестовых данных.
Требования
- Опыт коммерческой разработки на Python от 3х лет;
- Сильные софт скиллы и умение коммуницировать между командами;
- Знакомство с основным big data стэком – Spark, Hadoop.
- Опыт работы с Airflow;
- Опыт работы с k8s;
- Уверенное знание SQL;
- Умение работать с командной строкой Linux/MacOS;
- Умение вести проекты в Git;
На что ещё смотрим:
- Опыт работы с MPP – системами и с колоночными хранилищами данных.
- Английский язык – уровень B1.
Условия
-
Работа в одной из самых сильных ML команд;
-
Участие в росте компании, работающей на перспективном AI рынке;
-
Гибкий график работы;
-
Гибкий формат работы: полная удаленка;
-
Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского;
-
Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами.
Контактная информация
- aperekrestova@rubbles.ru
