Zautomatyzowane testy dla procesu zakupu w sklepie internetowym

Nasz sklep jest aktualizowany prawie co tydzień, a po prawie każdej aktualizacji coś cicho psuje się w drodze do zamówienia. Kod promocyjny przestaje działać, koszt dostawy znika z całkowitej kwoty, krok płatności wyrzuca klienta z powrotem do pustego koszyka. Dowiadujemy się o tym od kupujących, którzy piszą do wsparcia — co jest najdroższym sposobem na dowiedzenie się, że proces zakupu jest zepsuty, ponieważ dla każdej osoby, która pisze, jest kilka, które po prostu odchodzą. Ręczne sprawdzanie po każdej zmianie nie jest realistyczne: nikt w zespole nie ma wolnej godziny na to, a po trzeciej z rzędu aktualizacji osoba sprawdzająca przestaje patrzeć uważnie.

Czego chcę, to zestaw zautomatyzowanych scenariuszy, które przechodzą tą samą drogę, co prawdziwy klient. Od karty produktu do opłaconego zamówienia: dodawanie do koszyka, zmiana ilości i usuwanie przedmiotu, stosowanie i anulowanie kodu promocyjnego, wybieranie metod dostawy i obserwowanie przeliczenia całkowitej kwoty, rejestracja i logowanie z błędnym hasłem wśród przypadków, a następnie konto osobiste — historia zamówień, zapisane adresy, powtarzanie poprzedniego zamówienia. Mobilny układ potrzebuje swoich własnych scenariuszy, a nie przeskalowanej kopii tych na komputerze stacjonarnym: większość naszych zamówień składana jest z telefonów, a to właśnie tam koszyk zazwyczaj psuje się jako pierwszy. Wszystko musi zaczynać się samo przy każdej kompilacji, bez potrzeby przypominania komuś o naciśnięciu przycisku.

Raport jest równie ważny jak testy. Menedżer powinien być w stanie go przeczytać bez pytania inżyniera: który scenariusz się nie powiódł, na którym kroku, co było na ekranie w tym momencie i jak wyglądał przebieg — zrzut ekranu punktu awarii i nagranie wideo z nieudanego testu. Potrzebuję również pisemnych instrukcji dla naszych własnych programistów, aby dodanie nowego scenariusza później było normalnym zadaniem, a nie projektem archeologicznym.

Warunki, które określam z góry: testy uruchamiane są w środowisku stagingowym z testowym kluczem płatności, prawdziwe płatności nigdy nie są dokonywane; testowe zamówienia nie mogą dotrzeć do księgowości i raportowania sklepu; test, który nie udaje się co drugie uruchomienie, jest albo naprawiany, albo usuwany — niestabilny test jest gorszy niż brak testu, ponieważ ludzie przestają go czytać.

Czego oczekuję:
— scenariusze end-to-end od karty produktu do opłaconego zamówienia, w tym kody promocyjne i opcje dostawy;
— scenariusze rejestracji, logowania i konta osobistego;
— oddzielny zestaw scenariuszy dla mobilnego układu;
— automatyczne uruchamianie całego zestawu przy każdej kompilacji, z wyraźnym wynikiem pass lub fail;
— raport, który może przeczytać osoba niebędąca inżynierem, z zrzutem ekranu nieudanego kroku;
— nagranie wideo każdego nieudanego uruchomienia, przechowywane wystarczająco długo, aby je zbadać;
— pisemne instrukcje dla naszych programistów dotyczące dodawania i utrzymywania scenariuszy;
— krótka sesja przekazania, aby zespół mógł samodzielnie uruchamiać i rozszerzać zestaw.