Data Engineer/Дата инженер
г.Алматы
Полный день
Проектная работа
Основные требования
В IT компании открыта вакансия Data Engineer/Дата инженер.
Требования:
Опыт работы в области разработки хранилищ больших данных не менее 5 лет;
Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных;
Опыт работы с регуляторной отчетностью (в банках), формирование отчетов, понимание разницы атрибутов;
Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем;
Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT;
Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ;
Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP etc;
Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Python;
Опыт использования инструментом трансформации данных (DBT, Spark, Python);
Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql);
Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB);
Опыт построения хранилищ для финансового сектора;
Опыт работы с инструментами DataGovernance;
Опыт в области проектирования схемы данных, баз данных и хранилищ;
Опыт работы с платформами больших данных(напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio);
Опыт интеграции с технологиями CDC (GoldenGate, Informatica, Debezium)
Опыт работы с разработкой отчета "кредитный регистр" будет существенным преимуществом.
знание S3
Чем предстоит заниматься
Обязанности:
Построение потоков данных для хранилища;
Оптимизация выгрузок данных из систем источников;
Реализация трансформаций в целевые модели данных хранилища;
Выгрузка данных в другие системы для дальнейшей обработки;
Реализация сверочных отчетов.
Что мы предлагаем
возможность гибридного графика работы, конкурентную зарплату
| Имя | Опыт работы | Контакты | Дата отклика | Заметки | Статус отклика |
|---|
Откликов пока нет
Когда кто-то откликнется на вакансию — здесь появится список кандидатов
