项目描述
翻译核心工作是一个 ETL 管道,从 MySQL 中提取数据,清理和聚合数据,并将其加载到 PostgreSQL 中,设计良好的事实和维度表用于分析事件、用户和收入。在此基础上,我们需要定时作业——通过 cron 或 Airflow 进行每日和每小时的聚合——以及一个连接到 PostgreSQL 的 Grafana 或 Metabase 仪表板。对我们来说重要的指标是 DAU、MAU、留存率、ARPU 和漏斗转化率,我们还需要自动数据质量检查(行计数和空值验证),以便我们可以信任仪表板。
技术栈以 Python 为导向,所有内容都应该通过 Docker Compose 启动,以便在干接后我们可以自己运行和扩展管道。
组件:
— 1. ETL — 从 MySQL 中提取,转换(清理、聚合),加载到 PostgreSQL
— 2. 数据模型 — 用于分析事件、用户、收入的事实/维度表
— 3. 调度程序 — 每日/每小时聚合(cron 或 Airflow)
— 4. 仪表板 — 连接到 PostgreSQL 的 Grafana 或 Metabase
— 5. KPI — DAU、MAU、留存率、ARPU、漏斗转化率
— 6. 数据质量控制 — 行计数和空值检查
技术栈:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana 或 Metabase
— 用于本地部署的 Docker Compose