Description du projet
TraduitNotre entreprise fonctionne sur plusieurs systèmes déconnectés, et en ce moment, personne n'a une image fiable unique de ce qui se passe dans tous. Les données de vente se trouvent dans une base de données, les informations de facturation sont disponibles via une API tierce, et certains départements nous envoient encore des exports CSV chaque semaine. J'ai besoin de quelqu'un pour construire un pipeline ETL complet : extraire des données de toutes ces sources, transformer et nettoyer les enregistrements bruts en un format cohérent unique, et tout charger dans l'entrepôt de données central. Ce n'est pas un tableau de bord de reporting et pas une réécriture complète du backend ; le livrable est exactement une couche d'intégration de données qui fonctionne de manière fiable en arrière-plan afin que les outils en aval aient toujours des chiffres frais et corrects.
Ce qui compte le plus pour moi, c'est que le pipeline soit prévisible et ne corrompe rien silencieusement. Je veux des synchronisations incrémentielles plutôt que des rechargements complets chaque fois que la source le permet, afin que nous ne déplacions que les changements et que les tâches restent rapides à mesure que le volume augmente. Chaque exécution doit inclure des vérifications de qualité des données qui détectent les champs manquants, les types cassés, les clés dupliquées et les lignes violant les règles commerciales, et dans de tels cas, émettre une alerte claire plutôt que d'écrire silencieusement des données corrompues dans l'entrepôt. Je me soucie également de l'idempotence : si une tâche échoue à mi-chemin et se relance, elle ne doit pas doubler les données ou laisser l'entrepôt dans un état partiellement chargé.
Veuillez documenter les mappages de source et la logique de transformation afin que mon équipe puisse maintenir tout après la passation, et mettre en place une exécution programmée sans ma supervision constante. Dites-nous quelle pile technologique vous proposeriez et pourquoi.
— Extraire de plusieurs sources : bases de données SQL, API REST et CSV hebdomadaires
— Transformer et nettoyer les enregistrements en un seul schéma sans doublons
— Charger dans l'entrepôt central avec des couches de staging et finales
— Synchronisations incrémentielles des lignes modifiées, pas de rechargements complets
— Vérifications automatiques de la qualité des données avec alertes d'erreur
— Tâches redémarrables idempotentes selon un calendrier et documentation pour la passation
Ce qui compte le plus pour moi, c'est que le pipeline soit prévisible et ne corrompe rien silencieusement. Je veux des synchronisations incrémentielles plutôt que des rechargements complets chaque fois que la source le permet, afin que nous ne déplacions que les changements et que les tâches restent rapides à mesure que le volume augmente. Chaque exécution doit inclure des vérifications de qualité des données qui détectent les champs manquants, les types cassés, les clés dupliquées et les lignes violant les règles commerciales, et dans de tels cas, émettre une alerte claire plutôt que d'écrire silencieusement des données corrompues dans l'entrepôt. Je me soucie également de l'idempotence : si une tâche échoue à mi-chemin et se relance, elle ne doit pas doubler les données ou laisser l'entrepôt dans un état partiellement chargé.
Veuillez documenter les mappages de source et la logique de transformation afin que mon équipe puisse maintenir tout après la passation, et mettre en place une exécution programmée sans ma supervision constante. Dites-nous quelle pile technologique vous proposeriez et pourquoi.
— Extraire de plusieurs sources : bases de données SQL, API REST et CSV hebdomadaires
— Transformer et nettoyer les enregistrements en un seul schéma sans doublons
— Charger dans l'entrepôt central avec des couches de staging et finales
— Synchronisations incrémentielles des lignes modifiées, pas de rechargements complets
— Vérifications automatiques de la qualité des données avec alertes d'erreur
— Tâches redémarrables idempotentes selon un calendrier et documentation pour la passation
Autre / Divers Espèces, Virement bancaire
