Опис послуги
ПерекладЯ розробляю системи обробки даних на Scala з Apache Spark та відповідаю насамперед за дві речі: щоб цифри на виході були правильними та щоб завдання завершалася, коли даних стає в десять разів більше. Я запускаю батч- та стрім-пайплайни, шари ETL та важкі агрегації, які кожного дня перемелюють мільярди рядків та не падають о третій год ночі. За замовчуванням пишу типізований функціональний код — чисті перетворення, явні схеми, без мовчазних null у джойнах, — щоб через рік спокійно читати пайплайн, а не боятися його торкатися.
Робота починається з ваших реальних даних та вашого вузького місця, а не з презентації. Я профілюю, куди насправді йдуть час та гроші: перекіс ключів, важкі shuffle-джойни, вибух дрібних файлів, стрімінг, що відстає від джерела, — та переписую гарячий шлях: партиціонування та бакетування під запити, broadcast-джойни по місцю, вікнові агрегації з коректними watermark, checkpointing, щоб перезапуск коштував хвилин, а не повної переобробки. Вбудовую завдання в оркестрацію, додаю метрики та перевірки якості даних та залишаю код, який команда розвиває сама. Працюю зі Spark на YARN, Kubernetes або керованих кластерах, з Kafka та Parquet — швидко тому, що розкладка підходить під навантаження, а не тому, що кластер став більший.
Робота починається з ваших реальних даних та вашого вузького місця, а не з презентації. Я профілюю, куди насправді йдуть час та гроші: перекіс ключів, важкі shuffle-джойни, вибух дрібних файлів, стрімінг, що відстає від джерела, — та переписую гарячий шлях: партиціонування та бакетування під запити, broadcast-джойни по місцю, вікнові агрегації з коректними watermark, checkpointing, щоб перезапуск коштував хвилин, а не повної переобробки. Вбудовую завдання в оркестрацію, додаю метрики та перевірки якості даних та залишаю код, який команда розвиває сама. Працюю зі Spark на YARN, Kubernetes або керованих кластерах, з Kafka та Parquet — швидко тому, що розкладка підходить під навантаження, а не тому, що кластер став більший.
