Test A/B per due pagine di atterraggio: ipotesi, obiettivi, verdetto

Stiamo inviando traffico a pagamento a due pagine di atterraggio contemporaneamente, e per mesi la questione su quale funzioni meglio è stata risolta da chi parla più forte in riunione. Una settimana la prima pagina sembra più forte, la settimana successiva la seconda, e nessuno può dire se quel cambiamento sia una vera differenza o solo rumore in qualche centinaio di clic. Le decisioni che prendiamo su questo sono reali, però: spostiamo il budget avanti e indietro e riscriviamo i blocchi su un'intuizione.

Voglio smettere di decidere a occhio e mettere in atto un test di confronto adeguato, dalla prima ipotesi a un verdetto scritto. Il lavoro inizia molto prima che il traffico venga diviso. Prima ho bisogno di un elenco di ipotesi classificate per impatto atteso rispetto al costo di verifica, così testiamo il titolo e il blocco dell'offerta prima di discutere del colore del pulsante. Poi gli obiettivi e gli eventi devono essere contrassegnati onestamente: una metrica primaria su cui si basa la decisione, metriche secondarie che osserviamo solo, e invii di moduli che non vengono conteggiati due volte. Dopo di che viene la configurazione della divisione, la dimensione del campione richiesta calcolata in anticipo dalla nostra attuale percentuale di conversione e la più piccola differenza che vale la pena considerare, e una lunghezza di esecuzione concordata che non spostiamo una volta iniziata.

Tre condizioni entrano nel piano fin dall'inizio, quindi non c'è nulla da reinterpretare in seguito. Il test viene fermato alla dimensione del campione calcolata prima del lancio, non nel giorno in cui il numero finalmente sembra carino. Una differenza che rientra nel margine di errore viene riportata come nessuna differenza, non come una vittoria per la pagina che qualcuno preferisce. E nessuno mi sta promettendo un costo per conversione o una cifra di crescita: un test risponde alla domanda per cui è stato impostato, non garantisce un risultato. Questa è la mia posizione, non una lamentela sul lavoro.

Cosa mi aspetto di ricevere:
— un elenco di ipotesi prioritizzate con il ragionamento dietro l'ordine;
— una mappa degli obiettivi e degli eventi: metrica primaria, metriche secondarie, contatori verificati contro invii reali;
— configurazione della divisione del traffico con un controllo che entrambe le pagine ricevano pubblici comparabili;
— dimensione del campione e lunghezza dell'esecuzione calcolate prima del lancio, con le assunzioni annotate;
— regole per eseguire il test senza sbirciare a metà strada, e cosa conta come motivo per fermarsi prima;
— un resoconto dei risultati con intervalli di confidenza, spiegato a parole piuttosto che con un singolo p-value;
— un breve documento con conclusioni e le prossime ipotesi da mettere in coda.