Testes automatizados para checkout de loja online

Nossa loja é atualizada quase toda semana, e após quase cada atualização, algo quebra silenciosamente no caminho para o pedido. Um código promocional para de ser aplicado, o custo de entrega desaparece do total, a etapa de pagamento joga o cliente de volta para um carrinho vazio. Descobrimos isso pelos compradores que escrevem para o suporte — que é a maneira mais cara de saber que o checkout está quebrado, porque para cada pessoa que escreve, há várias que simplesmente saem. A verificação manual após cada mudança não é realista: não há ninguém na equipe com uma hora livre para isso, e após o terceiro lançamento consecutivo, a pessoa que verifica para de olhar com atenção.

O que eu quero é um conjunto de cenários automatizados que percorrem o mesmo caminho que um cliente real. Do cartão do produto até um pedido pago: adicionando ao carrinho, mudando a quantidade e removendo um item, aplicando e cancelando um código promocional, escolhendo entre métodos de entrega e vendo o total recalcular, registro e login com uma senha errada entre os casos, e a conta pessoal depois — histórico de pedidos, endereços salvos, repetindo um pedido anterior. O layout móvel precisa de seus próprios cenários, não uma cópia redimensionada dos de desktop: a maioria dos nossos pedidos é feita a partir de telefones, e é exatamente onde o carrinho geralmente quebra primeiro. Tudo deve começar por conta própria em cada build, sem que ninguém se lembre de pressionar um botão.

O relatório é tão importante quanto os testes. Um gerente deve ser capaz de lê-lo sem perguntar a um engenheiro: qual cenário falhou, em qual etapa, o que estava na tela naquele momento e como foi a execução — uma captura de tela do ponto de falha e uma gravação em vídeo do teste falho. Eu também preciso de instruções escritas para nossos próprios desenvolvedores, para que adicionar um novo cenário mais tarde seja uma tarefa normal e não um projeto de arqueologia.

Condições que estou declarando desde o início: os testes são executados no ambiente de staging com uma chave de pagamento de teste, pagamentos reais nunca são feitos; pedidos de teste não devem chegar à contabilidade e relatórios da loja; um teste que falha em cada outra execução é ou corrigido ou excluído — um teste não confiável é pior do que nenhum teste, porque as pessoas param de lê-lo.

O que espero receber:
— cenários de ponta a ponta do cartão do produto até o pedido pago, incluindo códigos promocionais e opções de entrega;
— cenários de registro, login e conta pessoal;
— um conjunto separado de cenários para o layout móvel;
— início automático de todo o conjunto em cada build, com um resultado claro de passar ou falhar;
— um relatório que um não engenheiro possa ler, com uma captura de tela da etapa falha;
— gravação em vídeo de cada execução falha, mantida por tempo suficiente para investigá-la;
— instruções escritas para nossos desenvolvedores sobre como adicionar e manter cenários;
— uma breve sessão de entrega para que a equipe possa executar e estender o conjunto por conta própria.