Опис проєкту
ПерекладМи вже якийсь час накопичуємо сирі дані про події в MySQL, але вони просто лежать мертвим вантажем — нормальної аналітики поверх них немає, й на базові питання про те, як використовується продукт, відповісти нічим. Хочемо побудувати повноцінний аналітичний пайплайн, який бере ці сирі дані, перетворює їх на чисті змодельовані таблиці в PostgreSQL й виводить ключові показники на BI-дашборд, доступний всій команді.
Ядро роботи — ETL-пайплайн, який витягує дані з MySQL, очищує й агрегує їх та завантажує в PostgreSQL, з продуманими fact- та dimension-таблицями для аналізу подій, користувачів та доходу. Поверх потрібні запланровані завдання — щоденні й погодинні агрегації через cron або Airflow — та дашборд на Grafana або Metabase, підключений до PostgreSQL. Важливі для нас метрики — DAU, MAU, утримання, ARPU й конверсія воронки, а ще потрібні автоматичні перевірки якості даних (лічильники рядків і контроль null), щоб дашборду можна було довіряти.
Стек орієнтований на Python, й все повинно піднятися через Docker Compose заради чистого локального оточення, щоб після здачі ми могли запускати й розширювати пайплайн своїми силами.
Компоненти:
— 1. ETL — витяг з MySQL, трансформація (очистка, агрегація), завантаження в PostgreSQL
— 2. Моделі даних — fact/dimension таблиці для аналізу подій, користувачів, доходу
— 3. Планувальник — щоденні/погодинні агрегації (cron або Airflow)
— 4. Дашборд — Grafana або Metabase, підключений до PostgreSQL
— 5. KPI — DAU, MAU, утримання, ARPU, конверсії воронки
— 6. Контроль якості даних — лічильники рядків і перевірка null
Стек:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana або Metabase
— Docker Compose для локального запуску
Ядро роботи — ETL-пайплайн, який витягує дані з MySQL, очищує й агрегує їх та завантажує в PostgreSQL, з продуманими fact- та dimension-таблицями для аналізу подій, користувачів та доходу. Поверх потрібні запланровані завдання — щоденні й погодинні агрегації через cron або Airflow — та дашборд на Grafana або Metabase, підключений до PostgreSQL. Важливі для нас метрики — DAU, MAU, утримання, ARPU й конверсія воронки, а ще потрібні автоматичні перевірки якості даних (лічильники рядків і контроль null), щоб дашборду можна було довіряти.
Стек орієнтований на Python, й все повинно піднятися через Docker Compose заради чистого локального оточення, щоб після здачі ми могли запускати й розширювати пайплайн своїми силами.
Компоненти:
— 1. ETL — витяг з MySQL, трансформація (очистка, агрегація), завантаження в PostgreSQL
— 2. Моделі даних — fact/dimension таблиці для аналізу подій, користувачів, доходу
— 3. Планувальник — щоденні/погодинні агрегації (cron або Airflow)
— 4. Дашборд — Grafana або Metabase, підключений до PostgreSQL
— 5. KPI — DAU, MAU, утримання, ARPU, конверсії воронки
— 6. Контроль якості даних — лічильники рядків і перевірка null
Стек:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana або Metabase
— Docker Compose для локального запуску
Веб програмування Готівка, Банківський переказ
