Описание проекта
Мы уже какое-то время накапливаем сырые данные о событиях в MySQL, но они просто лежат мёртвым грузом — нормальной аналитики поверх них нет, и на базовые вопросы о том, как используется продукт, ответить нечем. Хотим построить полноценный аналитический пайплайн, который берёт эти сырые данные, превращает их в чистые смоделированные таблицы в PostgreSQL и выводит ключевые показатели на BI-дашборд, доступный всей команде.
Ядро работы — ETL-пайплайн, который извлекает данные из MySQL, очищает и агрегирует их и загружает в PostgreSQL, с продуманными fact- и dimension-таблицами для анализа событий, пользователей и выручки. Поверх нужны запланированные задания — ежедневные и почасовые агрегации через cron или Airflow — и дашборд на Grafana или Metabase, подключённый к PostgreSQL. Важные для нас метрики — DAU, MAU, удержание, ARPU и конверсия воронки, а ещё нужны автоматические проверки качества данных (счётчики строк и контроль null), чтобы дашборду можно было доверять.
Стек ориентирован на Python, и всё должно подниматься через Docker Compose ради чистого локального окружения, чтобы после сдачи мы могли запускать и расширять пайплайн своими силами.
Компоненты:
— 1. ETL — извлечение из MySQL, трансформация (очистка, агрегация), загрузка в PostgreSQL
— 2. Модели данных — fact/dimension таблицы для анализа событий, пользователей, выручки
— 3. Планировщик — ежедневные/почасовые агрегации (cron или Airflow)
— 4. Дашборд — Grafana или Metabase, подключённый к PostgreSQL
— 5. KPI — DAU, MAU, удержание, ARPU, конверсии воронки
— 6. Контроль качества данных — счётчики строк и проверка null
Стек:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana или Metabase
— Docker Compose для локального запуска
Ядро работы — ETL-пайплайн, который извлекает данные из MySQL, очищает и агрегирует их и загружает в PostgreSQL, с продуманными fact- и dimension-таблицами для анализа событий, пользователей и выручки. Поверх нужны запланированные задания — ежедневные и почасовые агрегации через cron или Airflow — и дашборд на Grafana или Metabase, подключённый к PostgreSQL. Важные для нас метрики — DAU, MAU, удержание, ARPU и конверсия воронки, а ещё нужны автоматические проверки качества данных (счётчики строк и контроль null), чтобы дашборду можно было доверять.
Стек ориентирован на Python, и всё должно подниматься через Docker Compose ради чистого локального окружения, чтобы после сдачи мы могли запускать и расширять пайплайн своими силами.
Компоненты:
— 1. ETL — извлечение из MySQL, трансформация (очистка, агрегация), загрузка в PostgreSQL
— 2. Модели данных — fact/dimension таблицы для анализа событий, пользователей, выручки
— 3. Планировщик — ежедневные/почасовые агрегации (cron или Airflow)
— 4. Дашборд — Grafana или Metabase, подключённый к PostgreSQL
— 5. KPI — DAU, MAU, удержание, ARPU, конверсии воронки
— 6. Контроль качества данных — счётчики строк и проверка null
Стек:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana или Metabase
— Docker Compose для локального запуска
Веб программирование Наличные, Банковский перевод
