Descrição do projeto
TraduzidoTemos acumulado dados brutos de eventos no MySQL há algum tempo, mas eles apenas ficam lá — não há análises reais sobre isso, e não conseguimos responder perguntas básicas sobre como o produto está sendo usado. Queremos construir um pipeline de análise completo que pegue esses dados brutos, os transforme em tabelas modeladas limpas no PostgreSQL e exiba métricas-chave em um dashboard de BI acessível a toda a equipe.
O trabalho principal é um pipeline ETL que extrai dados do MySQL, os limpa e agrega, e os carrega no PostgreSQL, com tabelas de fatos e dimensões bem projetadas para analisar eventos, usuários e receita. Além disso, precisamos de jobs agendados — agregações diárias e horárias via cron ou Airflow — e um dashboard no Grafana ou Metabase conectado ao PostgreSQL. As métricas que importam para nós são DAU, MAU, retenção, ARPU e conversão de funil, e também precisamos de verificações automáticas de qualidade de dados (contagem de linhas e validação de nulos) para que possamos confiar no dashboard.
A stack é orientada para Python, e tudo deve ser configurado via Docker Compose para um ambiente local limpo, para que, após a entrega, possamos executar e estender o pipeline nós mesmos.
Componentes:
— 1. ETL — extração do MySQL, transformação (limpeza, agregação), carregamento no PostgreSQL
— 2. Modelos de dados — tabelas de fato/dimensão para analisar eventos, usuários, receita
— 3. Agendador — agregações diárias/hora (cron ou Airflow)
— 4. Dashboard — Grafana ou Metabase conectado ao PostgreSQL
— 5. KPI — DAU, MAU, retenção, ARPU, conversões de funil
— 6. Controle de qualidade de dados — contagem de linhas e verificações de nulos
Stack:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana ou Metabase
— Docker Compose para implantação local
O trabalho principal é um pipeline ETL que extrai dados do MySQL, os limpa e agrega, e os carrega no PostgreSQL, com tabelas de fatos e dimensões bem projetadas para analisar eventos, usuários e receita. Além disso, precisamos de jobs agendados — agregações diárias e horárias via cron ou Airflow — e um dashboard no Grafana ou Metabase conectado ao PostgreSQL. As métricas que importam para nós são DAU, MAU, retenção, ARPU e conversão de funil, e também precisamos de verificações automáticas de qualidade de dados (contagem de linhas e validação de nulos) para que possamos confiar no dashboard.
A stack é orientada para Python, e tudo deve ser configurado via Docker Compose para um ambiente local limpo, para que, após a entrega, possamos executar e estender o pipeline nós mesmos.
Componentes:
— 1. ETL — extração do MySQL, transformação (limpeza, agregação), carregamento no PostgreSQL
— 2. Modelos de dados — tabelas de fato/dimensão para analisar eventos, usuários, receita
— 3. Agendador — agregações diárias/hora (cron ou Airflow)
— 4. Dashboard — Grafana ou Metabase conectado ao PostgreSQL
— 5. KPI — DAU, MAU, retenção, ARPU, conversões de funil
— 6. Controle de qualidade de dados — contagem de linhas e verificações de nulos
Stack:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana ou Metabase
— Docker Compose para implantação local
Programação web Dinheiro, Transferência bancária
