Rozwój pipeline'ów big-data w Scala i Spark

Rozwijam systemy przetwarzania danych w Scala z Apache Spark i koncentruję się na dwóch rzeczach ponad wszystko: liczby na wyjściu są poprawne, a zadanie kończy się, gdy dane stają się dziesięć razy większe. Uruchamiam potoki wsadowe i strumieniowe, warstwy ETL oraz ciężkie agregacje, które przetwarzają miliardy wierszy każdego dnia i nie zawieszają się o trzeciej nad ranem. Domyślnie piszę typowany kod funkcyjny — czyste transformacje, jawne schematy, brak cichych nulli w złączeniach — dzięki czemu po roku mogę spokojnie przeczytać potok zamiast bać się go dotknąć.

Praca zaczyna się od twoich rzeczywistych danych i twojego rzeczywistego wąskiego gardła, a nie od prezentacji. Profiluję, gdzie naprawdę idą czas i pieniądze: kluczowe odchylenia, ciężkie złączenia shuffle, eksplozja małych plików, opóźnienia strumieni w stosunku do źródła — i przepisuję gorącą ścieżkę: partycjonowanie i bucketing dla zapytań, złączenia broadcast w miejscu, agregacje okien z poprawnymi znacznikami czasu, checkpointing, aby ponowne uruchomienie zajmowało minuty, a nie pełne przetwarzanie. Wbudowuję zadania w orkiestrację, dodaję metryki i kontrole jakości danych oraz zostawiam kod, który twój zespół rozwija samodzielnie. Pracuję z Spark na YARN, Kubernetes lub zarządzanych klastrach, z Kafka i Parquet — szybko, ponieważ układ pasuje do obciążenia, a nie dlatego, że klaster stał się większy.