Projektbeschreibung
ÜbersetztUnser Unternehmen arbeitet mit mehreren getrennten Systemen, und im Moment hat niemand ein zuverlässiges Gesamtbild davon, was in all diesen Systemen passiert. Verkaufsdaten befinden sich in einer Datenbank, Abrechnungsinformationen sind über eine Drittanbieter-API verfügbar, und einige Abteilungen senden uns jede Woche CSV-Dumps. Ich benötige jemanden, der eine vollständige ETL-Pipeline aufbaut: Daten aus all diesen Quellen extrahieren, Rohdaten in ein einheitliches Format transformieren und bereinigen und alles in ein zentrales Datenlager laden. Dies ist kein Reporting-Dashboard und kein vollständiger Backend-Neuschreib; das Ergebnis ist genau eine Datenintegrationsschicht, die zuverlässig im Hintergrund funktioniert, sodass nachgelagerte Tools immer frische und korrekte Zahlen haben.
Was mir am wichtigsten ist, ist, dass die Pipeline vorhersehbar ist und nichts stillschweigend beschädigt. Ich möchte inkrementelle Synchronisierungen anstelle von vollständigen Neuladungen, wo immer die Quelle dies zulässt, damit wir nur Änderungen bewegen und die Aufgaben schnell halten, während das Volumen wächst. Jeder Durchlauf muss Datenqualitätsprüfungen enthalten, die fehlende Felder, fehlerhafte Typen, doppelte Schlüssel und Zeilen, die Geschäftsregeln verletzen, erfassen, und in solchen Fällen eine klare Warnung ausgeben, anstatt stillschweigend Müll ins Lager zu schreiben. Ich lege auch Wert auf Idempotenz: Wenn eine Aufgabe mitten im Prozess fehlschlägt und erneut ausgeführt wird, darf sie keine Daten verdoppeln oder das Lager in einem halb geladenen Zustand zurücklassen.
Bitte dokumentieren Sie die Quellzuordnungen und Transformationslogik, damit mein Team alles nach der Übergabe warten kann, und richten Sie die geplante Ausführung ohne meine ständige Aufsicht ein. Sagen Sie uns, welchen Tech-Stack Sie vorschlagen würden und warum.
— Extrahieren aus mehreren Quellen: SQL-Datenbanken, REST-APIs und wöchentliche CSVs
— Transformieren und Bereinigen von Datensätzen in ein einzelnes Schema ohne Duplikate
— Laden in das zentrale Lager mit Staging- und endgültigen Schichten
— Inkrementelle Synchronisierungen geänderter Zeilen, keine vollständigen Neuladungen
— Automatische Datenqualitätsprüfungen mit Fehlerwarnungen
— Idempotente, wiederholbare Aufgaben nach Zeitplan und Dokumentation für die Übergabe
Was mir am wichtigsten ist, ist, dass die Pipeline vorhersehbar ist und nichts stillschweigend beschädigt. Ich möchte inkrementelle Synchronisierungen anstelle von vollständigen Neuladungen, wo immer die Quelle dies zulässt, damit wir nur Änderungen bewegen und die Aufgaben schnell halten, während das Volumen wächst. Jeder Durchlauf muss Datenqualitätsprüfungen enthalten, die fehlende Felder, fehlerhafte Typen, doppelte Schlüssel und Zeilen, die Geschäftsregeln verletzen, erfassen, und in solchen Fällen eine klare Warnung ausgeben, anstatt stillschweigend Müll ins Lager zu schreiben. Ich lege auch Wert auf Idempotenz: Wenn eine Aufgabe mitten im Prozess fehlschlägt und erneut ausgeführt wird, darf sie keine Daten verdoppeln oder das Lager in einem halb geladenen Zustand zurücklassen.
Bitte dokumentieren Sie die Quellzuordnungen und Transformationslogik, damit mein Team alles nach der Übergabe warten kann, und richten Sie die geplante Ausführung ohne meine ständige Aufsicht ein. Sagen Sie uns, welchen Tech-Stack Sie vorschlagen würden und warum.
— Extrahieren aus mehreren Quellen: SQL-Datenbanken, REST-APIs und wöchentliche CSVs
— Transformieren und Bereinigen von Datensätzen in ein einzelnes Schema ohne Duplikate
— Laden in das zentrale Lager mit Staging- und endgültigen Schichten
— Inkrementelle Synchronisierungen geänderter Zeilen, keine vollständigen Neuladungen
— Automatische Datenqualitätsprüfungen mit Fehlerwarnungen
— Idempotente, wiederholbare Aufgaben nach Zeitplan und Dokumentation für die Übergabe
Sonstiges / Verschiedenes Bargeld, Banküberweisung
