Projektbeschreibung
ÜbersetztWir leiten gleichzeitig bezahlten Traffic auf zwei Landing Pages und seit Monaten wird die Diskussion darüber, welche besser funktioniert, von dem entschieden, der im Meeting lauter spricht. Eine Woche sieht die erste Seite stärker aus, in der nächsten Woche ist es die zweite, und niemand kann sagen, ob diese Schwankung ein echter Unterschied oder nur Rauschen in ein paar Hundert Klicks ist. Die Entscheidungen, die wir darauf basieren, sind jedoch real: Wir verschieben Budgets hin und her und ändern Blöcke nach Bauchgefühl.
Ich möchte aufhören, dies nach Augenmaß zu entscheiden, und einen ordentlichen Vergleichstest einführen, von der ersten Hypothese bis zu einem schriftlichen Urteil. Die Arbeit beginnt lange bevor der Traffic aufgeteilt wird. Zuerst benötige ich eine Liste von Hypothesen, die nach erwarteter Auswirkung im Verhältnis zu den Kosten für deren Überprüfung eingestuft sind, sodass wir die Überschrift und den Angebotsblock testen, bevor wir über die Farbe des Buttons streiten. Dann müssen Ziele und Ereignisse ehrlich markiert werden: eine primäre Kennzahl, auf der die Entscheidung basiert, sekundäre Kennzahlen, die wir nur beobachten, und Formularübermittlungen, die nicht doppelt gezählt werden. Danach folgt die Aufteilung des Setups, die erforderliche Stichprobengröße, die im Voraus aus unserer aktuellen Konversionsrate und dem kleinsten Unterschied, der von Bedeutung ist, berechnet wird, sowie eine vereinbarte Laufzeit, die wir nicht ändern, sobald sie beginnt.
Drei Bedingungen fließen von Anfang an in den Plan ein, sodass es später nichts neu zu interpretieren gibt. Der Test wird bei der vor dem Start berechneten Stichprobengröße gestoppt, nicht an dem Tag, an dem die Zahl endlich gut aussieht. Ein Unterschied, der innerhalb des Fehlers liegt, wird als kein Unterschied gemeldet, nicht als Gewinn für die Seite, die jemand bevorzugt. Und niemand verspricht mir einen Kosten pro Konversion oder eine Wachstumszahl: Ein Test beantwortet die Frage, die er gestellt wurde, er garantiert kein Ergebnis. Das ist meine eigene Position, keine Beschwerde über die Arbeit.
Was ich erwarte zu erhalten:
— eine priorisierte Hypothesenliste mit der Begründung für die Reihenfolge;
— eine Ziel- und Ereigniskarte: primäre Kennzahl, sekundäre Kennzahlen, Zähler, die mit echten Übermittlungen verifiziert sind;
— Setup der Traffic-Aufteilung mit einer Überprüfung, dass beide Seiten vergleichbare Zielgruppen erhalten;
— Stichprobengröße und Laufzeit, die vor dem Start berechnet wurden, mit den Annahmen, die niedergeschrieben sind;
— Regeln für die Durchführung des Tests ohne Zwischenblicke und was als Grund zählt, um frühzeitig zu stoppen;
— eine Ergebnisauswertung mit Konfidenzintervallen, erklärt in Worten und nicht nur einem einzelnen p-Wert;
— ein kurzes Dokument mit Schlussfolgerungen und den nächsten Hypothesen, die in die Warteschlange aufgenommen werden sollen.
Ich möchte aufhören, dies nach Augenmaß zu entscheiden, und einen ordentlichen Vergleichstest einführen, von der ersten Hypothese bis zu einem schriftlichen Urteil. Die Arbeit beginnt lange bevor der Traffic aufgeteilt wird. Zuerst benötige ich eine Liste von Hypothesen, die nach erwarteter Auswirkung im Verhältnis zu den Kosten für deren Überprüfung eingestuft sind, sodass wir die Überschrift und den Angebotsblock testen, bevor wir über die Farbe des Buttons streiten. Dann müssen Ziele und Ereignisse ehrlich markiert werden: eine primäre Kennzahl, auf der die Entscheidung basiert, sekundäre Kennzahlen, die wir nur beobachten, und Formularübermittlungen, die nicht doppelt gezählt werden. Danach folgt die Aufteilung des Setups, die erforderliche Stichprobengröße, die im Voraus aus unserer aktuellen Konversionsrate und dem kleinsten Unterschied, der von Bedeutung ist, berechnet wird, sowie eine vereinbarte Laufzeit, die wir nicht ändern, sobald sie beginnt.
Drei Bedingungen fließen von Anfang an in den Plan ein, sodass es später nichts neu zu interpretieren gibt. Der Test wird bei der vor dem Start berechneten Stichprobengröße gestoppt, nicht an dem Tag, an dem die Zahl endlich gut aussieht. Ein Unterschied, der innerhalb des Fehlers liegt, wird als kein Unterschied gemeldet, nicht als Gewinn für die Seite, die jemand bevorzugt. Und niemand verspricht mir einen Kosten pro Konversion oder eine Wachstumszahl: Ein Test beantwortet die Frage, die er gestellt wurde, er garantiert kein Ergebnis. Das ist meine eigene Position, keine Beschwerde über die Arbeit.
Was ich erwarte zu erhalten:
— eine priorisierte Hypothesenliste mit der Begründung für die Reihenfolge;
— eine Ziel- und Ereigniskarte: primäre Kennzahl, sekundäre Kennzahlen, Zähler, die mit echten Übermittlungen verifiziert sind;
— Setup der Traffic-Aufteilung mit einer Überprüfung, dass beide Seiten vergleichbare Zielgruppen erhalten;
— Stichprobengröße und Laufzeit, die vor dem Start berechnet wurden, mit den Annahmen, die niedergeschrieben sind;
— Regeln für die Durchführung des Tests ohne Zwischenblicke und was als Grund zählt, um frühzeitig zu stoppen;
— eine Ergebnisauswertung mit Konfidenzintervallen, erklärt in Worten und nicht nur einem einzelnen p-Wert;
— ein kurzes Dokument mit Schlussfolgerungen und den nächsten Hypothesen, die in die Warteschlange aufgenommen werden sollen.
Werbung und Marketing Bargeld, Banküberweisung
