Публикация была переведена автоматически. Исходный язык: Русский
Широкие и узкие трансформации в Spark — это база. Архитектура Spark приложений (кто такой cluster manager, driver, worker и executor) — тоже. Как не получить "леща" от начальника, когда забыл потушить spark сессию (spark.stop() или sc.stop()) — уже опыт.
А вот какие типы кешей бывают в Spark, как их настраивать, как ими управлять, где их смотреть в UI — уже то, что отличает опытного Spark разработчика от начинающего. А если вы уже сталкивались с implicit cache в production или знаете как сделать Map-Side Join, чтобы не задействовать shuffle, то можете смело примерять кепку Senior-разработчика.
Где об этом рассказывают? Мы думаем, вы уже знаете:
// модуль 5. Модель вычислений Spark: RDD
🗓 Курс начинается 23 марта 2026
Если вы уже знакомы с HDFS, MapReduce, Hive, то эти знания и навыки можно получить в рамках 3х-недельного crash-course:
Полезная информация
Прошлые выпуски:
Читать сначала: ч.1 гарантии в IT проектах
Предыдущий выпуск: ч.4 Hive, оптимизация вычислений и хранения данных
✍️ сохраните и подпишитесь, если хотите быть востребованным в IT
BigData Team: the way you learn best
Широкие и узкие трансформации в Spark — это база. Архитектура Spark приложений (кто такой cluster manager, driver, worker и executor) — тоже. Как не получить "леща" от начальника, когда забыл потушить spark сессию (spark.stop() или sc.stop()) — уже опыт.
А вот какие типы кешей бывают в Spark, как их настраивать, как ими управлять, где их смотреть в UI — уже то, что отличает опытного Spark разработчика от начинающего. А если вы уже сталкивались с implicit cache в production или знаете как сделать Map-Side Join, чтобы не задействовать shuffle, то можете смело примерять кепку Senior-разработчика.
Где об этом рассказывают? Мы думаем, вы уже знаете:
// модуль 5. Модель вычислений Spark: RDD
🗓 Курс начинается 23 марта 2026
Если вы уже знакомы с HDFS, MapReduce, Hive, то эти знания и навыки можно получить в рамках 3х-недельного crash-course:
Полезная информация
Прошлые выпуски:
Читать сначала: ч.1 гарантии в IT проектах
Предыдущий выпуск: ч.4 Hive, оптимизация вычислений и хранения данных
✍️ сохраните и подпишитесь, если хотите быть востребованным в IT
BigData Team: the way you learn best
Поделиться
