Автотести оформлення замовлення в інтернет-магазині

Магазин оновлюється майже щотижня, і після кожного оновлення щось ламається дорогою до замовлення. То перестає застосовуватися промокод, то із підсумкової суми зникає вартість доставки, то на кроці оплати покупця викидає назад до порожнього кошика. Дізнаємося ми про це від тих, хто написав у підтримку, — тобто найдорожчим способом, бо на одного, хто написав, припадає кілька тих, хто мовчки пішов. Перевіряти руками після кожної правки нікому: вільної години в команди немає, а до третього релізу поспіль людина перестає дивитися уважно і клацає за звичкою.

Потрібен набір автоматичних сценаріїв, які проходять рівно той шлях, що й живий покупець. Від картки товару до оплаченого замовлення: додавання в кошик, зміна кількості та видалення позиції, застосування і скасування промокоду, вибір способу доставки з перерахунком суми, реєстрація та вхід — зокрема і з хибним паролем, — і далі особистий кабінет: історія замовлень, збережені адреси, повторення попереднього замовлення. Мобільній версії потрібні власні сценарії, а не зменшена копія десктопних: з телефонів у нас оформлюється більшість замовлень, і ламається зазвичай саме там. Запускатися все це має саме на кожній збірці, без нагадувань і без кнопки, яку треба не забути натиснути.

Звіт для мене важить не менше за самі тести. Його має читати менеджер, не смикаючи програміста: який сценарій упав, на якому кроці, що було на екрані тієї миті — скріншот місця падіння і відеозапис невдалого прогону. Окремо потрібна письмова інструкція для наших розробників, щоб додавання нового сценарію за пів року було звичайним завданням, а не розкопками.

Умови обумовлюю одразу: тести ганяються на тестовому контурі з тестовим платіжним ключем, справжні оплати не проводяться; тестові замовлення не потрапляють у звітність магазину; тест, що падає через раз, лагодиться або видаляється — ненадійний тест гірший за відсутній, бо його перестають читати.

Що чекаю в результаті:
— наскрізні сценарії від картки товару до оплаченого замовлення, разом із промокодами та способами доставки;
— сценарії реєстрації, входу та особистого кабінету;
— окремий набір сценаріїв для мобільної версії;
— автоматичний запуск усього набору на кожній збірці з однозначним результатом «пройшло — не пройшло»;
— звіт, зрозумілий людині без технічної освіти, зі скріншотом кроку, на якому все зупинилося;
— відеозапис кожного невдалого прогону, що зберігається достатньо довго, аби встигнути розібратися;
— інструкцію для наших розробників щодо додавання та підтримки сценаріїв;
— коротку передачу справ, після якої команда запускає й розширює набір самостійно.