Senior Data Software Engineer

Вакансия в архиве и больше неактивна

Краткое описание

Мы ищем Senior Data Software Engineer с гибким мышлением, который возглавит разработку и поддержку нашей data-архитектуры.

В этой роли вы будете заниматься созданием конвейеров данных для построения бизнес-ориентированных продуктов, а также проектированием облачных платформенных решений для функциональности DataHub. Если вы увлечены возможностью формировать будущее инженерии данных и преуспеваете в среде, где ключевую роль играют инновации и сотрудничество, мы приглашаем вас присоединиться к нашей команде.

Обязанности

Проектирование и реализация конвейеров данных.
Организация процессов загрузки данных для интеграции существующих источников в новую платформу.
Участие в разработке платформы, включая создание облачных решений для поддержки архитектуры (таких как фреймворки для приема данных, оркестраторы платформы и среды для исследований).
Выполнение задач в области MLOps по созданию готовых к эксплуатации облачных решений для поддержки действующих ML-пайплайнов.
Участие в планировании миграции инфраструктуры с локальных серверов в облако.

Требования

Опыт разработки на одном из языков: Java, Python или Scala.
Свободное владение SQL.
Понимание типовых задач Big Data (параллельная обработка, балансировка нагрузки, территориальная привязка данных, потоковая передача данных и т.д.) и знание соответствующих технологий (Apache Spark, Kafka, NoSQL-базы данных).
Знание принципов моделирования данных, таких как реляционное/мерное моделирование, SCD и snowflaking.
Практический опыт в одном из основных облачных провайдеров: Azure, AWS или GCP.
Уровень английского языка не ниже B2 (устный и письменный).