Публикация была переведена автоматически. Исходный язык: Русский
Зона компетенции архитектора по работе с Big Data не заканчивается только умением обрабатывать большие данные. В нее входят вопросы про поставку данных (e.g. near real-time) и их деплой для использования в production сервисах (e.g. NoSQL).
Проверьте свои знания о поставке данных:
- Какие брокеры сообщений вам известны? В чем идеологический выбор между выбором той или иной технологии?
- Какие из этих брокеров можно использовать для финансовых систем, а какие нет и почему?
Вопрос для Junior специалиста по Big Data:
- В чем разница между топиком и партицией в Kafka?
Вопросы для специалиста Middle+:
- Как обрабатываются события, которые произошли [2 x Window] времени назад, но пришли только сейчас? Что такое watermark и как он позволяет работать с такими данными в Spark Structured Streaming?
Если хотите освежить знания или узнать об этом от Артёма Выборнова, то смотрите модуль 8. "Потоковая обработка данных (Kafka, Spark Streaming)" Практического курса по Big Data.
Полезная информация
Прошлые выпуски:
Читать сначала: ч.1 гарантии в IT проектах
Предыдущий выпуск: ч.7 Косые данные, оптимизации группировок и shuffle
✍️ сохраните и подпишитесь, если хотите быть востребованным в IT
BigData Team: the way you learn best
Зона компетенции архитектора по работе с Big Data не заканчивается только умением обрабатывать большие данные. В нее входят вопросы про поставку данных (e.g. near real-time) и их деплой для использования в production сервисах (e.g. NoSQL).
Проверьте свои знания о поставке данных:
- Какие брокеры сообщений вам известны? В чем идеологический выбор между выбором той или иной технологии?
- Какие из этих брокеров можно использовать для финансовых систем, а какие нет и почему?
Вопрос для Junior специалиста по Big Data:
- В чем разница между топиком и партицией в Kafka?
Вопросы для специалиста Middle+:
- Как обрабатываются события, которые произошли [2 x Window] времени назад, но пришли только сейчас? Что такое watermark и как он позволяет работать с такими данными в Spark Structured Streaming?
Если хотите освежить знания или узнать об этом от Артёма Выборнова, то смотрите модуль 8. "Потоковая обработка данных (Kafka, Spark Streaming)" Практического курса по Big Data.
Полезная информация
Прошлые выпуски:
Читать сначала: ч.1 гарантии в IT проектах
Предыдущий выпуск: ч.7 Косые данные, оптимизации группировок и shuffle
✍️ сохраните и подпишитесь, если хотите быть востребованным в IT
BigData Team: the way you learn best
Поделиться
