Opis projektu
PrzetłumaczoneProwadzimy płatny ruch do dwóch stron docelowych jednocześnie, a przez miesiące spór o to, która działa lepiej, rozstrzyga ten, kto głośniej mówi na spotkaniu. W jednym tygodniu pierwsza strona wygląda na silniejszą, w następnym tygodniu druga, a nikt nie może powiedzieć, czy ta zmiana to rzeczywista różnica, czy tylko szum w kilku setkach kliknięć. Decyzje, które podejmujemy na tej podstawie, są jednak realne: przenosimy budżet tam i z powrotem i przepisujemy bloki na podstawie przeczucia.
Chcę przestać decydować na oko i wprowadzić odpowiedni test porównawczy, od pierwszej hipotezy do pisemnego werdyktu. Praca zaczyna się długo przed podziałem ruchu. Najpierw potrzebuję listy hipotez uporządkowanych według oczekiwanego wpływu w stosunku do kosztu ich sprawdzenia, więc testujemy nagłówek i blok oferty, zanim zaczniemy dyskutować o kolorze przycisku. Następnie cele i zdarzenia muszą być oznaczone uczciwie: jedna główna metryka, na której opiera się decyzja, metryki drugorzędne, które tylko obserwujemy, oraz zgłoszenia formularzy, które nie są liczone podwójnie. Po tym następuje konfiguracja podziału, wymagana wielkość próby obliczona z góry na podstawie naszego aktualnego wskaźnika konwersji i najmniejsza różnica, która jest warta uwagi, oraz uzgodniona długość trwania, której nie zmieniamy po rozpoczęciu.
Trzy warunki wchodzą w plan od samego początku, więc nie ma nic do reinterpretacji później. Test jest zatrzymywany przy obliczonej przed uruchomieniem wielkości próby, a nie w dniu, w którym liczba w końcu wygląda ładnie. Różnica, która mieści się w marginesie błędu, jest zgłaszana jako brak różnicy, a nie jako wygrana dla strony, którą ktoś preferuje. I nikt nie obiecuje mi kosztu na konwersję ani wskaźnika wzrostu: test odpowiada na pytanie, które zostało postawione, nie gwarantuje wyniku. To moje własne stanowisko, a nie skarga na pracę.
Czego oczekuję:
— lista priorytetowych hipotez z uzasadnieniem kolejności;
— mapa celów i zdarzeń: metryka główna, metryki drugorzędne, liczniki weryfikowane na podstawie rzeczywistych zgłoszeń;
— konfiguracja podziału ruchu z kontrolą, że obie strony otrzymują porównywalne audytoria;
— wielkość próby i długość trwania obliczone przed uruchomieniem, z zapisanymi założeniami;
— zasady prowadzenia testu bez podglądania w trakcie, oraz co liczy się jako powód do wcześniejszego zakończenia;
— odczyt wyników z przedziałami ufności, wyjaśniony słowami, a nie pojedynczą wartością p;
— krótki dokument z wnioskami i kolejnymi hipotezami do umieszczenia w kolejce.
Chcę przestać decydować na oko i wprowadzić odpowiedni test porównawczy, od pierwszej hipotezy do pisemnego werdyktu. Praca zaczyna się długo przed podziałem ruchu. Najpierw potrzebuję listy hipotez uporządkowanych według oczekiwanego wpływu w stosunku do kosztu ich sprawdzenia, więc testujemy nagłówek i blok oferty, zanim zaczniemy dyskutować o kolorze przycisku. Następnie cele i zdarzenia muszą być oznaczone uczciwie: jedna główna metryka, na której opiera się decyzja, metryki drugorzędne, które tylko obserwujemy, oraz zgłoszenia formularzy, które nie są liczone podwójnie. Po tym następuje konfiguracja podziału, wymagana wielkość próby obliczona z góry na podstawie naszego aktualnego wskaźnika konwersji i najmniejsza różnica, która jest warta uwagi, oraz uzgodniona długość trwania, której nie zmieniamy po rozpoczęciu.
Trzy warunki wchodzą w plan od samego początku, więc nie ma nic do reinterpretacji później. Test jest zatrzymywany przy obliczonej przed uruchomieniem wielkości próby, a nie w dniu, w którym liczba w końcu wygląda ładnie. Różnica, która mieści się w marginesie błędu, jest zgłaszana jako brak różnicy, a nie jako wygrana dla strony, którą ktoś preferuje. I nikt nie obiecuje mi kosztu na konwersję ani wskaźnika wzrostu: test odpowiada na pytanie, które zostało postawione, nie gwarantuje wyniku. To moje własne stanowisko, a nie skarga na pracę.
Czego oczekuję:
— lista priorytetowych hipotez z uzasadnieniem kolejności;
— mapa celów i zdarzeń: metryka główna, metryki drugorzędne, liczniki weryfikowane na podstawie rzeczywistych zgłoszeń;
— konfiguracja podziału ruchu z kontrolą, że obie strony otrzymują porównywalne audytoria;
— wielkość próby i długość trwania obliczone przed uruchomieniem, z zapisanymi założeniami;
— zasady prowadzenia testu bez podglądania w trakcie, oraz co liczy się jako powód do wcześniejszego zakończenia;
— odczyt wyników z przedziałami ufności, wyjaśniony słowami, a nie pojedynczą wartością p;
— krótki dokument z wnioskami i kolejnymi hipotezami do umieszczenia w kolejce.
Reklama i marketing Gotówka, Przelew bankowy
