项目描述
翻译我们已经在 MySQL 中积累了原始事件数据一段时间,但它只是静静地放在那里——没有真正的分析,我们无法回答关于产品使用的基本问题。我们想建立一个完整的分析管道,将这些原始数据转换为 PostgreSQL 中干净的建模表,并在整个团队可访问的 BI 仪表板上显示关键指标。
核心工作是一个 ETL 管道,从 MySQL 中提取数据,清理和聚合数据,并将其加载到 PostgreSQL 中,设计良好的事实和维度表用于分析事件、用户和收入。在此基础上,我们需要定时作业——通过 cron 或 Airflow 进行每日和每小时的聚合——以及一个连接到 PostgreSQL 的 Grafana 或 Metabase 仪表板。对我们来说重要的指标是 DAU、MAU、留存率、ARPU 和漏斗转化率,我们还需要自动数据质量检查(行计数和空值验证),以便我们可以信任仪表板。
技术栈以 Python 为导向,所有内容都应该通过 Docker Compose 启动,以便在干接后我们可以自己运行和扩展管道。
组件:
— 1. ETL — 从 MySQL 中提取,转换(清理、聚合),加载到 PostgreSQL
— 2. 数据模型 — 用于分析事件、用户、收入的事实/维度表
— 3. 调度程序 — 每日/每小时聚合(cron 或 Airflow)
— 4. 仪表板 — 连接到 PostgreSQL 的 Grafana 或 Metabase
— 5. KPI — DAU、MAU、留存率、ARPU、漏斗转化率
— 6. 数据质量控制 — 行计数和空值检查
技术栈:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana 或 Metabase
— 用于本地部署的 Docker Compose
核心工作是一个 ETL 管道,从 MySQL 中提取数据,清理和聚合数据,并将其加载到 PostgreSQL 中,设计良好的事实和维度表用于分析事件、用户和收入。在此基础上,我们需要定时作业——通过 cron 或 Airflow 进行每日和每小时的聚合——以及一个连接到 PostgreSQL 的 Grafana 或 Metabase 仪表板。对我们来说重要的指标是 DAU、MAU、留存率、ARPU 和漏斗转化率,我们还需要自动数据质量检查(行计数和空值验证),以便我们可以信任仪表板。
技术栈以 Python 为导向,所有内容都应该通过 Docker Compose 启动,以便在干接后我们可以自己运行和扩展管道。
组件:
— 1. ETL — 从 MySQL 中提取,转换(清理、聚合),加载到 PostgreSQL
— 2. 数据模型 — 用于分析事件、用户、收入的事实/维度表
— 3. 调度程序 — 每日/每小时聚合(cron 或 Airflow)
— 4. 仪表板 — 连接到 PostgreSQL 的 Grafana 或 Metabase
— 5. KPI — DAU、MAU、留存率、ARPU、漏斗转化率
— 6. 数据质量控制 — 行计数和空值检查
技术栈:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana 或 Metabase
— 用于本地部署的 Docker Compose
网页编程 现金, 银行转账