Хмарне сховище даних на Snowflake/BigQuery з dbt

Я будую хмарні сховища даних, яким ваші аналітики зможуть довіряти без застережень. Працюю на Snowflake або BigQuery, а ядром всієї логіки роблю dbt. Провожу вас від розрізнених джерел до єдиного надійного сховища: проектую завантаження, описую трансформації, виношу чистий семантичний шар, налаштовую оркестрацію та підключаю все це до вашого BI. На виході ви отримуєте не звалисько розових скриптів, а версіоновану, покриту тестами та документовану платформу, в якій новий інженер розберется в перший же день.

Мій підхід навмисне спокійний та передбачуваний. Сирі дані потрапляють в staging без сюрпризів, потім проходять через шари моделей dbt, де кожне бізнес-правило живе в одному місці. Я пишу тесты на те, що не повинне ломатись ніколи, перевірки свіжості на те, що обов'язково повинне лишатись актуальним, та вистраюю прозорий lineage: за будь-якою цифрою видно, звідки вона взялась. Мене можна позвати й на проект з нуля, й на спасення сховища, трогати яке вже ніхто не вирішується: строки та обсяг фіксую заранее, звіряю цифри зі старою логікою та передаю все з документацією, щоб платформою володіла ваша команда.

Що звичайно входить у роботу:
— Завантаження з баз, API та файлів у Snowflake або BigQuery
— Шари моделей dbt: staging, вітрини та семантичний шар
— Тесты даних, перевірки свіжості та документація за колонками
— Оркестрація, сповіщення та чисті підключення до BI