Entwicklung von Big-Data-Pipelines mit Scala und Spark

Ich entwickle Datenverarbeitungssysteme in Scala mit Apache Spark und konzentriere mich vor allem auf zwei Dinge: Die Zahlen im Output sind korrekt und die Aufgabe wird abgeschlossen, wenn die Daten zehnmal größer werden. Ich betreibe Batch- und Stream-Pipelines, ETL-Schichten und schwere Aggregationen, die täglich Milliarden von Zeilen verarbeiten und um drei Uhr morgens nicht abstürzen. Standardmäßig schreibe ich typisierten funktionalen Code — saubere Transformationen, explizite Schemata, keine stillen Nullwerte in Joins — sodass ich in einem Jahr die Pipeline ruhig lesen kann, anstatt Angst zu haben, sie zu berühren.

Die Arbeit beginnt mit Ihren echten Daten und Ihrem echten Engpass, nicht mit einer Präsentation. Ich profiliere, wo Zeit und Geld tatsächlich hingehen: Schlüsselverzerrung, schwere Shuffle-Joins, Explosion kleiner Dateien, Streaming, das hinter der Quelle zurückbleibt — und schreibe den heißen Pfad neu: Partitionierung und Bucketing für Abfragen, Broadcast-Joins vor Ort, Fensteraggregationen mit korrekten Wasserzeichen, Checkpointing, sodass der Neustart Minuten und nicht eine vollständige Neuberechnung dauert. Ich bette Aufgaben in die Orchestrierung ein, füge Metriken und Datenqualitätsprüfungen hinzu und lasse Code, den Ihr Team selbst entwickelt. Ich arbeite mit Spark auf YARN, Kubernetes oder verwalteten Clustern, mit Kafka und Parquet — schnell, weil das Layout zur Last passt, nicht weil der Cluster größer wurde.