Data Engineer
- Уровень дохода не указан
-
г.Астана
Краткое описание
- Ищем Data Engineer, который отвечает за построение и поддержку потоков данных от источников до аналитических витрин. Роль сфокусирована на создании надёжной, масштабируемой и управляемой платформы обработки данных.
Обязанности
- Настраивать и поддерживать оркестрацию процессов обработки данных, обеспечивая стабильный запуск и контроль пайплайнов.
-
Разрабатывать шаблоны и утилиты для загрузки данных из различных источников в хранилище.
-
Организовывать размещение сырых данных в объектном хранилище в согласованных форматах и структурах.
-
Разрабатывать процессы трансформации данных для подготовки их к аналитическому и прикладному использованию.
-
Создавать и поддерживать пайплайны очистки, валидации и базовой обработки данных.
-
Объединять данные из разных источников в согласованные сущности и наборы.
-
Прототипировать и настраивать потоковую загрузку данных для сценариев, где требуется близкая к реальному времени обработка.
-
Формировать витрины данных и агрегированные наборы для использования в отчетности, аналитике и продуктовых дашбордах
Требования
-
Опыт работы в роли Data Engineer или в смежных инженерных ролях с фокусом на данные.
-
Уверенное владение SQL и одним из языков для обработки данных (Python, Spark или аналог).
-
Понимание принципов построения хранилищ данных, слоёв данных (raw / curated / marts) и ETL/ELT-процессов.
-
Опыт работы с оркестрацией пайплайнов и объектными хранилищами.
-
Понимание потоковой обработки данных и интеграции с источниками.
-
Способность работать с требованиями аналитиков, архитекторов и продуктовых команд
Условия
-
Участие в построении ядра data-платформы с нуля или её развитии.
-
Работа с современным стеком обработки и хранения данных.
-
Влияние на архитектурные решения и стандарты данных.
-
Возможность профессионального роста в сторону архитектуры данных или data-платформ.
Контактная информация
- a.yessimkhan@astanahib.com