Projektbeschreibung
ÜbersetztDas Herzstück ist die Statistik-Engine und das Ergebnis-Dashboard. Für jedes aktive Experiment müssen Sie Besucher, Conversions und Conversion-Rate nach Variante sehen, plus korrekte Signifikanzberechnung, um zu verstehen, wann Ergebnisse vertrauenswürdig sind und wann es nur Rauschen ist. Wir verlangen nach Konfidenzintervallen, Lift im Vergleich zur Kontrolle und einem klaren Indikator dafür, ob der Test Signifikanz erreicht hat und genügend Stichprobengröße gesammelt wurde. Wir möchten auch Schutz vor voreiligen Schlussfolgerungen: Das Dashboard sollte uns sagen, wann es zu früh ist, um eine Entscheidung zu treffen. Dies ist ein Experimentierwerkzeug, kein Feature-Flag-Umschalter und keine Standard-Webanalyse – der Fokus liegt auf kontrollierten Tests und ehrlicher Signifikanzmathematik.
Für das Tagging der Website benötigen wir ein leichtgewichtiges SDK, vorzugsweise JavaScript für den Browser sowie eine einfache Serverversion, die die zugewiesene Variante empfängt und Conversion-Ereignisse zurücksendet. Es sollte schnell sein, Zuweisungen zwischenspeichern und sich elegant zurückziehen, sodass ein fehlerhaftes Experiment die Seite niemals bricht. Das Ergebnis muss produktionsbereit und dokumentiert sein, damit unser Team nach der Übergabe unabhängig Experimente durchführen kann.
— Experiment-Builder: Varianten, gewichtete Traffic-Verteilung, Zielgruppenansprache, mehrere Ziele
— Stabile Zuweisung pro Besucher, konsistent über Sitzungen und idealerweise Geräte hinweg
— Statistik-Engine: Conversion-Raten, Konfidenzintervalle, Lift, Signifikanzprüfung und Stichprobengröße
— Ergebnis-Dashboard mit Variantenmetriken und klarer Empfehlung, ob fortgefahren oder gestoppt werden soll
— Client- und Server-SDK für Varianten-Zuweisung und Ereignisverfolgung mit elegantem Fallback
— Dokumentation und kurze Übergabe, damit das Team unabhängig Experimente durchführt