Test A/B pour deux pages d'atterrissage : hypothèses, objectifs, verdict

Nous dirigeons le trafic payant vers deux pages d'atterrissage en même temps, et pendant des mois, le débat sur laquelle fonctionne mieux a été tranché par celui qui parle le plus fort lors de la réunion. Une semaine, la première page semble plus forte, la semaine suivante, c'est la deuxième, et personne ne peut dire si cette variation est une vraie différence ou juste du bruit dans quelques centaines de clics. Les décisions que nous prenons en conséquence sont réelles, cependant : nous déplaçons le budget d'un côté à l'autre et réécrivons des blocs sur un coup de tête.

Je veux arrêter de décider cela à l'œil et mettre en place un test de comparaison approprié, depuis la première hypothèse jusqu'à un verdict écrit. Le travail commence bien avant que le trafic ne soit réparti. D'abord, j'ai besoin d'une liste d'hypothèses classées par impact attendu par rapport au coût de leur vérification, afin que nous testions le titre et le bloc d'offre avant de discuter de la couleur du bouton. Ensuite, les objectifs et les événements doivent être marqués honnêtement : une métrique principale sur laquelle repose la décision, des métriques secondaires que nous surveillons seulement, et des soumissions de formulaires qui ne sont pas comptées deux fois. Après cela vient la configuration de la répartition, la taille d'échantillon requise calculée à l'avance à partir de notre taux de conversion actuel et la plus petite différence qui mérite d'être prise en compte, et une durée de test convenue que nous ne modifions pas une fois qu'elle commence.

Trois conditions entrent dans le plan dès le départ, donc il n'y a rien à réinterpréter plus tard. Le test est arrêté à la taille d'échantillon calculée avant le lancement, pas le jour où le nombre semble enfin joli. Une différence qui tombe dans la marge d'erreur est rapportée comme aucune différence, pas comme une victoire pour la page que quelqu'un préfère. Et personne ne me promet un coût par conversion ou un chiffre de croissance : un test répond à la question qu'il a été posé, il ne garantit pas un résultat. C'est ma propre position, pas une plainte sur le travail.

Ce que j'attends de recevoir :
— une liste d'hypothèses priorisées avec le raisonnement derrière l'ordre ;
— une carte des objectifs et des événements : métrique principale, métriques secondaires, compteurs vérifiés par rapport aux soumissions réelles ;
— configuration de la répartition du trafic avec une vérification que les deux pages reçoivent des audiences comparables ;
— taille d'échantillon et durée de test calculées avant le lancement, avec les hypothèses notées ;
— règles pour exécuter le test sans regard furtif en cours de route, et ce qui compte comme une raison d'arrêter tôt ;
— un compte rendu des résultats avec des intervalles de confiance, expliqué en mots plutôt qu'en une seule valeur p ;
— un court document avec des conclusions et les prochaines hypothèses à mettre dans la file d'attente.