Opis projektu
PrzetłumaczoneNasza firma działa na kilku odłączonych systemach, a w tej chwili nikt nie ma jednego wiarygodnego obrazu tego, co się dzieje we wszystkich. Dane sprzedażowe znajdują się w jednej bazie danych, informacje o fakturowaniu są dostępne przez API zewnętrznego dostawcy, a niektóre działy wciąż przesyłają nam co tydzień zrzuty CSV. Potrzebuję kogoś, kto zbuduje pełny pipeline ETL: wyciągnie dane ze wszystkich tych źródeł, przekształci i oczyści surowe rekordy do jednego spójnego formatu i załaduje to wszystko do centralnej hurtowni danych. To nie jest panel raportowy ani całkowite przepisanie backendu; dostarczanym produktem jest dokładnie warstwa integracji danych, która działa niezawodnie w tle, aby narzędzia downstream zawsze miały świeże i poprawne liczby.
Najważniejsze dla mnie jest, aby pipeline był przewidywalny i nie psuł niczego w milczeniu. Chcę inkrementalnych synchronizacji zamiast pełnych przeładowań, gdzie tylko źródło na to pozwala, abyśmy przenosili tylko zmiany i utrzymywali szybkie zadania w miarę wzrostu objętości. Każde uruchomienie musi obejmować kontrole jakości danych, które wychwycą brakujące pola, uszkodzone typy, zduplikowane klucze i wiersze naruszające zasady biznesowe, a w takich przypadkach emitować wyraźny alert zamiast cicho zapisywać śmieci do hurtowni. Zależy mi również na idempotencji: jeśli zadanie nie powiedzie się w połowie i zostanie uruchomione ponownie, nie może podwajać danych ani pozostawiać hurtowni w stanie półzaładowanym.
Proszę udokumentować mapowania źródeł i logikę transformacji, aby mój zespół mógł utrzymywać wszystko po przekazaniu, oraz ustawić zaplanowane wykonanie bez mojej stałej kontroli. Powiedz nam, jaki stos technologiczny byś zaproponował i dlaczego.
— Wyciągnij z wielu źródeł: bazy danych SQL, API REST i cotygodniowe pliki CSV
— Przekształć i oczyść rekordy do jednego schematu bez duplikatów
— Załaduj do centralnej hurtowni z warstwami staging i finalnymi
— Inkrementalne synchronizacje zmienionych wierszy, a nie pełne przeładowania
— Automatyczne kontrole jakości danych z alertami o błędach
— Idempotentne zadania do ponownego uruchomienia zgodnie z harmonogramem i dokumentacja do przekazania
Najważniejsze dla mnie jest, aby pipeline był przewidywalny i nie psuł niczego w milczeniu. Chcę inkrementalnych synchronizacji zamiast pełnych przeładowań, gdzie tylko źródło na to pozwala, abyśmy przenosili tylko zmiany i utrzymywali szybkie zadania w miarę wzrostu objętości. Każde uruchomienie musi obejmować kontrole jakości danych, które wychwycą brakujące pola, uszkodzone typy, zduplikowane klucze i wiersze naruszające zasady biznesowe, a w takich przypadkach emitować wyraźny alert zamiast cicho zapisywać śmieci do hurtowni. Zależy mi również na idempotencji: jeśli zadanie nie powiedzie się w połowie i zostanie uruchomione ponownie, nie może podwajać danych ani pozostawiać hurtowni w stanie półzaładowanym.
Proszę udokumentować mapowania źródeł i logikę transformacji, aby mój zespół mógł utrzymywać wszystko po przekazaniu, oraz ustawić zaplanowane wykonanie bez mojej stałej kontroli. Powiedz nam, jaki stos technologiczny byś zaproponował i dlaczego.
— Wyciągnij z wielu źródeł: bazy danych SQL, API REST i cotygodniowe pliki CSV
— Przekształć i oczyść rekordy do jednego schematu bez duplikatów
— Załaduj do centralnej hurtowni z warstwami staging i finalnymi
— Inkrementalne synchronizacje zmienionych wierszy, a nie pełne przeładowania
— Automatyczne kontrole jakości danych z alertami o błędach
— Idempotentne zadania do ponownego uruchomienia zgodnie z harmonogramem i dokumentacja do przekazania
Inne / Różne Gotówka, Przelew bankowy
