Chmurowa hurtownia danych na Snowflake/BigQuery z dbt

Buduję chmurowe hurtownie danych, którym Twoi analitycy mogą zaufać bez zastrzeżeń. Pracuję na Snowflake lub BigQuery, czyniąc dbt rdzeniem całej logiki. Przechodzę z rozproszonych źródeł do jednej niezawodnej hurtowni: projektuję pobieranie, opisuję transformacje, udostępniam czystą warstwę semantyczną, ustawiam orkiestrację i łączę to wszystko z Twoim BI. Otrzymujesz nie zbiór jednorazowych skryptów, ale wersjonowaną, testowaną, udokumentowaną platformę, którą nowy inżynier rozumie od pierwszego dnia.

Moje podejście jest celowo spokojne i przewidywalne. Surowe dane trafiają do stagingu bez niespodzianek, a następnie przechodzą przez warstwy modeli dbt, gdzie każda zasada biznesowa znajduje się w jednym miejscu. Piszę testy dla tego, co nigdy nie może się zepsuć, kontrole świeżości dla tego, co musi pozostać aktualne, i buduję przejrzystą linię pochodzenia: każda liczba wraca do swojego źródła. Mogę dołączyć do projektu od podstaw lub uratować hurtownię, której nikt już nie odważy się dotknąć: ustalam zakres i harmonogram z góry, uzgadniam liczby z dawną logiką i przekazuję wszystko z dokumentacją, aby Twój zespół mógł zarządzać platformą.

Co zazwyczaj wchodzi w skład pracy:
— Pobieranie z baz danych, API i plików do Snowflake lub BigQuery
— Warstwy modeli dbt: staging, marts i warstwa semantyczna
— Testy danych, kontrole świeżości i dokumentacja kolumn
— Orkiestracja, powiadamianie i czyste połączenia BI