Teste A/B para duas páginas de destino: hipóteses, objetivos, veredicto

Estamos direcionando tráfego pago para duas páginas de destino ao mesmo tempo, e por meses a discussão sobre qual funciona melhor foi resolvida por quem fala mais alto na reunião. Uma semana a primeira página parece mais forte, na semana seguinte a segunda parece, e ninguém pode dizer se essa oscilação é uma diferença real ou apenas ruído em algumas centenas de cliques. As decisões que tomamos em cima disso são reais, no entanto: movemos orçamento para frente e para trás e reescrevemos blocos por intuição.

Quero parar de decidir isso a olho nu e implementar um teste de comparação adequado, desde a primeira hipótese até um veredicto escrito. O trabalho começa muito antes de qualquer tráfego ser dividido. Primeiro, preciso de uma lista de hipóteses classificadas por impacto esperado em relação ao custo de verificá-las, para que testemos o título e o bloco de oferta antes de discutirmos a cor do botão. Em seguida, os objetivos e eventos devem ser marcados honestamente: uma métrica primária na qual a decisão se baseia, métricas secundárias que apenas observamos, e envios de formulários que não são contados duas vezes. Depois disso, vem a configuração da divisão, o tamanho da amostra necessário calculado antecipadamente a partir da nossa taxa de conversão atual e a menor diferença que vale a pena considerar, e um comprimento de execução acordado que não mudamos uma vez que começa.

Três condições entram no plano desde o início, para que não haja nada a reinterpretar depois. O teste é interrompido no tamanho da amostra calculado antes do lançamento, não no dia em que o número finalmente parece bonito. Uma diferença que cai dentro da margem de erro é relatada como nenhuma diferença, não como uma vitória para a página que alguém prefere. E ninguém está me prometendo um custo por conversão ou um número de crescimento: um teste responde à pergunta que foi feita, não garante um resultado. Essa é a minha própria posição, não uma reclamação sobre o trabalho.

O que espero receber:
— uma lista de hipóteses priorizadas com a justificativa por trás da ordem;
— um mapa de objetivos e eventos: métrica primária, métricas secundárias, contadores verificados contra envios reais;
— configuração de divisão de tráfego com uma verificação de que ambas as páginas recebem públicos comparáveis;
— tamanho da amostra e comprimento da execução calculados antes do lançamento, com as suposições anotadas;
— regras para executar o teste sem espiar no meio do caminho, e o que conta como uma razão para parar mais cedo;
— um relatório de resultados com intervalos de confiança, explicado em palavras em vez de um único valor p;
— um documento curto com conclusões e as próximas hipóteses a serem colocadas na fila.