Descrizione del progetto
TradottoLa nostra azienda opera su diversi sistemi disconnessi e al momento nessuno ha un quadro affidabile di ciò che sta accadendo in tutti. I dati di vendita risiedono in un database, le informazioni di fatturazione sono disponibili tramite un'API di terze parti e alcuni dipartimenti ci inviano ancora dump CSV ogni settimana. Ho bisogno di qualcuno che costruisca una pipeline ETL completa: estrarre dati da tutte queste fonti, trasformare e pulire i record grezzi in un formato coerente unico e caricarli tutti nel magazzino dati centrale. Questo non è un dashboard di reporting e non è una riscrittura completa del backend; il deliverable è esattamente uno strato di integrazione dei dati che funziona in modo affidabile in background in modo che gli strumenti downstream abbiano sempre numeri freschi e corretti.
Ciò che conta di più per me è che la pipeline sia prevedibile e non corrompa nulla silenziosamente. Voglio sincronizzazioni incrementali piuttosto che ricariche complete ovunque la fonte lo consenta, in modo da spostare solo le modifiche e mantenere i lavori veloci man mano che il volume cresce. Ogni esecuzione deve includere controlli di qualità dei dati che rilevino campi mancanti, tipi rotti, chiavi duplicate e righe che violano le regole aziendali, e in tali casi emettere un avviso chiaro piuttosto che scrivere silenziosamente spazzatura nel magazzino. Mi interessa anche l'idempotenza: se un lavoro fallisce a metà e viene rieseguito, non deve duplicare i dati o lasciare il magazzino in uno stato parzialmente caricato.
Si prega di documentare le mappature delle sorgenti e la logica di trasformazione in modo che il mio team possa mantenere tutto dopo il passaggio, e impostare l'esecuzione programmata senza la mia costante supervisione. Dicci quale stack tecnologico proporresti e perché.
— Estrarre da più fonti: database SQL, API REST e CSV settimanali
— Trasformare e pulire i record in uno schema unico senza duplicati
— Caricare nel magazzino centrale con strati di staging e finali
— Sincronizzazioni incrementali delle righe modificate, non ricariche complete
— Controlli automatici di qualità dei dati con avvisi di errore
— Lavori idempotenti riavviabili su programma e documentazione per il passaggio
Ciò che conta di più per me è che la pipeline sia prevedibile e non corrompa nulla silenziosamente. Voglio sincronizzazioni incrementali piuttosto che ricariche complete ovunque la fonte lo consenta, in modo da spostare solo le modifiche e mantenere i lavori veloci man mano che il volume cresce. Ogni esecuzione deve includere controlli di qualità dei dati che rilevino campi mancanti, tipi rotti, chiavi duplicate e righe che violano le regole aziendali, e in tali casi emettere un avviso chiaro piuttosto che scrivere silenziosamente spazzatura nel magazzino. Mi interessa anche l'idempotenza: se un lavoro fallisce a metà e viene rieseguito, non deve duplicare i dati o lasciare il magazzino in uno stato parzialmente caricato.
Si prega di documentare le mappature delle sorgenti e la logica di trasformazione in modo che il mio team possa mantenere tutto dopo il passaggio, e impostare l'esecuzione programmata senza la mia costante supervisione. Dicci quale stack tecnologico proporresti e perché.
— Estrarre da più fonti: database SQL, API REST e CSV settimanali
— Trasformare e pulire i record in uno schema unico senza duplicati
— Caricare nel magazzino centrale con strati di staging e finali
— Sincronizzazioni incrementali delle righe modificate, non ricariche complete
— Controlli automatici di qualità dei dati con avvisi di errore
— Lavori idempotenti riavviabili su programma e documentazione per il passaggio
Altro / Varie Contante, Bonifico bancario
