Développement de pipeline big-data sur Scala et Spark

Je développe des systèmes de traitement de données sur Scala avec Apache Spark et je me concentre sur deux choses avant tout : les chiffres en sortie sont corrects et la tâche se termine lorsque les données deviennent dix fois plus grandes. Je gère des pipelines batch et stream, des couches ETL et des agrégations lourdes qui traitent des milliards de lignes chaque jour sans planter à trois heures du matin. Par défaut, j'écris du code fonctionnel typé — transformations propres, schémas explicites, pas de nulls silencieux dans les jointures — afin qu'en un an, je puisse lire calmement le pipeline au lieu d'avoir peur de le toucher.

Le travail commence avec vos vraies données et votre véritable goulet d'étranglement, pas une présentation. Je profile où le temps et l'argent vont réellement : déséquilibre clé, jointures lourdes, explosion de petits fichiers, streaming en retard par rapport à la source — et réécris le chemin critique : partitionnement et bucketing pour les requêtes, jointures broadcast en place, agrégations de fenêtres avec des watermarks corrects, point de contrôle pour que le redémarrage prenne des minutes et non un traitement complet. J'intègre des tâches dans l'orchestration, ajoute des métriques et des contrôles de qualité des données et laisse le code que votre équipe développe elle-même. Je travaille avec Spark sur YARN, Kubernetes ou des clusters gérés, avec Kafka et Parquet — rapide parce que la disposition correspond à la charge, pas parce que le cluster est devenu plus grand.