Розробити платформу A/B-тестування та експериментів

У нас зростаючий вебпродукт, і ми хочемо припинити вгадувати, які зміни справді впливають на показники. Мета проєкту — повноцінна платформа експериментів, що дозволить продуктовій і маркетинговій командам запускати контрольовані тести без правки бекенду щоразу. Експеримент має задаватися вибором цільової аудиторії, описом двох і більше варіантів, призначенням частки трафіку (наприклад 50/50 або зважений розподіл) і вибором однієї чи кількох цілей конверсії: реєстрація, клік, оформлена покупка. Після запуску система зобов'язана стабільно утримувати кожного відвідувача в тому самому варіанті між сесіями, щоб результати залишалися чистими.

Серце роботи — рушій статистики та дашборд результатів. За кожним активним експериментом потрібно бачити відвідувачів, конверсії та коефіцієнт конверсії за варіантами, а також коректний розрахунок значущості, щоб розуміти, коли результату можна довіряти, а коли це просто шум. Просимо передбачити довірчі інтервали, приріст відносно контрольної групи та зрозумілий індикатор того, чи досяг тест значущості і чи набрав достатній обсяг вибірки. Також хочемо захист від передчасних висновків: дашборд має повідомляти, коли рішення ухвалювати ще зарано. Це саме інструмент експериментів, а не перемикач фіча-флагів і не звичайна вебаналітика: акцент на контрольованих тестах і чесній математиці значущості.

Для розмітки сайтів потрібен легкий SDK, бажано JavaScript для браузера плюс простий серверний варіант, який отримує призначений варіант і надсилає події конверсії назад. Він має бути швидким, кешувати призначення і м'яко деградувати, щоб зламаний експеримент ніколи не ламав сторінку. Результат має бути готовим до продакшену і задокументованим, щоб після передачі наша команда сама створювала і вела експерименти.

— Конструктор експериментів: варіанти, зважений поділ трафіку, таргетинг аудиторії, кілька цілей
— Стійке призначення за відвідувачем, узгоджене між сесіями і за можливості пристроями
— Рушій статистики: коефіцієнти конверсії, довірчі інтервали, приріст, перевірка значущості й обсягу вибірки
— Дашборд результатів з метриками за варіантами і зрозумілою рекомендацією продовжувати чи зупинити
— Клієнтський і серверний SDK для призначення варіантів і трекінгу подій з м'яким запасним режимом
— Документація і коротка передача проєкту, щоб команда вела експерименти самостійно