Projektbeschreibung
ÜbersetztWir haben eine Weile Rohereignisdaten in MySQL angesammelt, aber sie liegen einfach nur dort — es gibt keine echten Analysen darüber, und wir können grundlegende Fragen zur Nutzung des Produkts nicht beantworten. Wir möchten eine vollständige Analytics-Pipeline aufbauen, die diese Rohdaten nimmt, sie in saubere modellierte Tabellen in PostgreSQL transformiert und wichtige Kennzahlen auf einem BI-Dashboard anzeigt, das für das gesamte Team zugänglich ist.
Die Kernarbeit ist eine ETL-Pipeline, die Daten aus MySQL extrahiert, sie bereinigt und aggregiert und in PostgreSQL lädt, mit gut gestalteten Fakten- und Dimensionstabellen zur Analyse von Ereignissen, Benutzern und Einnahmen. Darüber hinaus benötigen wir geplante Jobs — tägliche und stündliche Aggregationen über Cron oder Airflow — und ein Dashboard in Grafana oder Metabase, das mit PostgreSQL verbunden ist. Die Kennzahlen, die für uns wichtig sind, sind DAU, MAU, Retention, ARPU und Trichterkonversion, und wir benötigen auch automatische Datenqualitätsprüfungen (Zeilenanzahlen und Nullvalidierung), damit wir dem Dashboard vertrauen können.
Der Stack ist auf Python ausgerichtet, und alles sollte über Docker Compose für eine saubere lokale Umgebung hochgefahren werden, damit wir nach der Übergabe die Pipeline selbst ausführen und erweitern können.
Komponenten:
— 1. ETL — Extraktion aus MySQL, Transformation (Bereinigung, Aggregation), Laden in PostgreSQL
— 2. Datenmodelle — Fakten-/Dimensionstabellen zur Analyse von Ereignissen, Benutzern, Einnahmen
— 3. Scheduler — tägliche/stündliche Aggregationen (Cron oder Airflow)
— 4. Dashboard — Grafana oder Metabase, verbunden mit PostgreSQL
— 5. KPI — DAU, MAU, Retention, ARPU, Trichterkonversionen
— 6. Datenqualitätskontrolle — Zeilenanzahlen und Nullprüfungen
Stack:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana oder Metabase
— Docker Compose für lokale Bereitstellung
Die Kernarbeit ist eine ETL-Pipeline, die Daten aus MySQL extrahiert, sie bereinigt und aggregiert und in PostgreSQL lädt, mit gut gestalteten Fakten- und Dimensionstabellen zur Analyse von Ereignissen, Benutzern und Einnahmen. Darüber hinaus benötigen wir geplante Jobs — tägliche und stündliche Aggregationen über Cron oder Airflow — und ein Dashboard in Grafana oder Metabase, das mit PostgreSQL verbunden ist. Die Kennzahlen, die für uns wichtig sind, sind DAU, MAU, Retention, ARPU und Trichterkonversion, und wir benötigen auch automatische Datenqualitätsprüfungen (Zeilenanzahlen und Nullvalidierung), damit wir dem Dashboard vertrauen können.
Der Stack ist auf Python ausgerichtet, und alles sollte über Docker Compose für eine saubere lokale Umgebung hochgefahren werden, damit wir nach der Übergabe die Pipeline selbst ausführen und erweitern können.
Komponenten:
— 1. ETL — Extraktion aus MySQL, Transformation (Bereinigung, Aggregation), Laden in PostgreSQL
— 2. Datenmodelle — Fakten-/Dimensionstabellen zur Analyse von Ereignissen, Benutzern, Einnahmen
— 3. Scheduler — tägliche/stündliche Aggregationen (Cron oder Airflow)
— 4. Dashboard — Grafana oder Metabase, verbunden mit PostgreSQL
— 5. KPI — DAU, MAU, Retention, ARPU, Trichterkonversionen
— 6. Datenqualitätskontrolle — Zeilenanzahlen und Nullprüfungen
Stack:
— Python 3 (pandas, SQLAlchemy, psycopg2)
— PostgreSQL
— Grafana oder Metabase
— Docker Compose für lokale Bereitstellung
Webprogrammierung Bargeld, Banküberweisung
