Разработка big-data пайплайнов на Scala и Spark

Я разрабатываю системы обработки данных на Scala с Apache Spark и отвечаю прежде всего за две вещи: чтобы цифры на выходе были верными и чтобы задача завершалась, когда данных становится в десять раз больше. Я запускаю батч- и стрим-пайплайны, слои ETL и тяжёлые агрегации, которые каждый день перемалывают миллиарды строк и не падают в три часа ночи. По умолчанию пишу типизированный функциональный код — чистые преобразования, явные схемы, без молчаливых null в джойнах, — чтобы через год спокойно читать пайплайн, а не бояться его трогать.

Работа начинается с ваших реальных данных и вашего узкого места, а не с презентации. Я профилирую, куда на самом деле уходят время и деньги: перекос ключей, тяжёлые шаффл-джойны, взрыв мелких файлов, стриминг, отстающий от источника, — и переписываю горячий путь: партиционирование и бакетирование под запросы, broadcast-джойны по месту, оконные агрегации с корректными watermark, checkpointing, чтобы перезапуск стоил минут, а не полной переобработки. Встраиваю задачи в оркестрацию, добавляю метрики и проверки качества данных и оставляю код, который команда развивает сама. Работаю со Spark на YARN, Kubernetes или управляемых кластерах, с Kafka и Parquet — быстро потому, что раскладка подходит под нагрузку, а не потому, что кластер стал больше.