Prueba A/B para dos páginas de destino: hipótesis, objetivos, veredicto

Estamos dirigiendo tráfico pagado a dos páginas de destino a la vez, y durante meses la discusión sobre cuál funciona mejor ha sido resuelta por quien habla más fuerte en la reunión. Una semana la primera página parece más fuerte, la siguiente la segunda, y nadie puede decir si ese cambio es una diferencia real o solo ruido en unos pocos cientos de clics. Sin embargo, las decisiones que tomamos sobre esto son reales: movemos el presupuesto de un lado a otro y reescribimos bloques por corazonada.

Quiero dejar de decidir esto a simple vista y establecer una prueba de comparación adecuada, desde la primera hipótesis hasta un veredicto escrito. El trabajo comienza mucho antes de que se divida cualquier tráfico. Primero necesito una lista de hipótesis clasificadas por impacto esperado frente al costo de verificarlas, así que probamos el encabezado y el bloque de oferta antes de discutir sobre el color del botón. Luego, los objetivos y eventos deben ser marcados honestamente: una métrica principal en la que se basa la decisión, métricas secundarias que solo observamos, y envíos de formularios que no se cuentan dos veces. Después de eso viene la configuración de la división, el tamaño de muestra requerido calculado de antemano a partir de nuestra tasa de conversión actual y la menor diferencia que vale la pena considerar, y una duración de ejecución acordada que no movemos una vez que comienza.

Tres condiciones entran en el plan desde el principio, por lo que no hay nada que reinterpretar más tarde. La prueba se detiene en el tamaño de muestra calculado antes del lanzamiento, no en el día en que el número finalmente se ve bonito. Una diferencia que cae dentro del margen de error se informa como ninguna diferencia, no como una victoria para la página que alguien prefiere. Y nadie me está prometiendo un costo por conversión o una cifra de crecimiento: una prueba responde a la pregunta que se planteó, no garantiza un resultado. Esa es mi propia posición, no una queja sobre el trabajo.

Lo que espero recibir:
— una lista de hipótesis priorizadas con el razonamiento detrás del orden;
— un mapa de objetivos y eventos: métrica principal, métricas secundarias, contadores verificados contra envíos reales;
— configuración de división de tráfico con una verificación de que ambas páginas obtienen audiencias comparables;
— tamaño de muestra y duración de ejecución calculados antes del lanzamiento, con las suposiciones escritas;
— reglas para ejecutar la prueba sin mirar a mitad de camino, y qué cuenta como una razón para detenerse antes de tiempo;
— un informe de resultados con intervalos de confianza, explicado en palabras en lugar de un solo valor p;
— un documento corto con conclusiones y las siguientes hipótesis para poner en la cola.