Описание проекта
Наши данные лежат где угодно, только не в одном месте. Продажи в CRM, заказы в биллинге, рекламные расходы в кабинетах площадок, продуктовые события в отдельной аналитике, а финансы ведут свои таблицы. Каждый раз, когда возникает простой вопрос — сколько мы реально заработали на конкретной кампании или кто из клиентов ушёл в прошлом квартале — аналитик тратит два дня на выгрузки, вручную сопоставляет идентификаторы и надеется, что суммы сойдутся. Мы хотим это прекратить. Цель проекта — единое облачное хранилище данных, Snowflake или BigQuery, которое станет одним доверенным источником для всех запросов.
Ищем инженера, который спроектирует и построит весь конвейер от начала до конца. Начинается всё с загрузки: каждый источник нужно завести в хранилище по надёжному расписанию — через готовые коннекторы или через собственную выгрузку там, где коннектора нет, — с аккуратной обработкой инкрементальных загрузок и истории изменений. Поверх сырого слоя данные должны быть грамотно разложены средствами dbt: staging-модели, которые чистят и приводят к единому виду каждый источник, промежуточные модели с джойнами и дедупликацией и понятные витрины, говорящие на языке бизнеса. Тесты, документация и контроль версий — это часть результата, а не то, что делается когда-нибудь потом, чтобы преобразования были прозрачными и их можно было безопасно менять.
Завершающая часть — семантический слой с согласованными определениями ключевых метрик: выручка, активные пользователи, маржа, удержание, — чтобы одно и то же число означало одно и то же во всех отчётах. Дальше нужно подключить наш BI-инструмент к этим подготовленным моделям и собрать несколько стартовых дашбордов, которые докажут, что хранилище работает, и дадут команде аналитики основу для дальнейшего развития. Опишите, пожалуйста, свой подход к моделированию, как вы будете держать расходы под контролем и сколько примерно займёт первичная сборка.
— Разрозненные источники: CRM, биллинг, рекламные кабинеты, продуктовые события, финансовые таблицы
— Хранилище: Snowflake или BigQuery, ваша рекомендация с обоснованием
— Модели dbt с тестами, документацией и контролем версий
— Семантический слой с согласованными определениями метрик
— Подключение BI и несколько стартовых дашбордов
Ищем инженера, который спроектирует и построит весь конвейер от начала до конца. Начинается всё с загрузки: каждый источник нужно завести в хранилище по надёжному расписанию — через готовые коннекторы или через собственную выгрузку там, где коннектора нет, — с аккуратной обработкой инкрементальных загрузок и истории изменений. Поверх сырого слоя данные должны быть грамотно разложены средствами dbt: staging-модели, которые чистят и приводят к единому виду каждый источник, промежуточные модели с джойнами и дедупликацией и понятные витрины, говорящие на языке бизнеса. Тесты, документация и контроль версий — это часть результата, а не то, что делается когда-нибудь потом, чтобы преобразования были прозрачными и их можно было безопасно менять.
Завершающая часть — семантический слой с согласованными определениями ключевых метрик: выручка, активные пользователи, маржа, удержание, — чтобы одно и то же число означало одно и то же во всех отчётах. Дальше нужно подключить наш BI-инструмент к этим подготовленным моделям и собрать несколько стартовых дашбордов, которые докажут, что хранилище работает, и дадут команде аналитики основу для дальнейшего развития. Опишите, пожалуйста, свой подход к моделированию, как вы будете держать расходы под контролем и сколько примерно займёт первичная сборка.
— Разрозненные источники: CRM, биллинг, рекламные кабинеты, продуктовые события, финансовые таблицы
— Хранилище: Snowflake или BigQuery, ваша рекомендация с обоснованием
— Модели dbt с тестами, документацией и контролем версий
— Семантический слой с согласованными определениями метрик
— Подключение BI и несколько стартовых дашбордов
Другое Разное Наличные, Банковский перевод
