Опис проєкту
ПерекладУ нас зростаючий веб-продукт, і ми хочемо перестати вгадувати, які зміни дійсно впливають на показники. Мета проекту — повнофункціональна платформа експериментів, яка дозволить продуктовій та маркетинговій командам запускати контрольовані тести без правки backend'у щоразу. Експеримент повинен задаватися вибором цільової аудиторії, описом двох та більше варіантів, призначенням частки трафіку (наприклад 50/50 або зважений розподіл) та вибором однієї або кількох цілей конверсії: реєстрація, клік, оформлена покупка. Після запуску система обов'язково повинна стабільно утримувати кожного відвідувача в одному й тому самому варіанті між сесіями, щоб результати залишались чистими.
Серце роботи — рушій статистики та дашборд результатів. По кожному активному експерименту потрібно бачити відвідувачів, конверсії та коефіцієнт конверсії за варіантами, а також коректний розрахунок значущості, щоб зрозуміти, коли результату можна довіряти, а коли це просто шум. Просимо передбачити довірчі інтервали, прирост відносно контрольної групи та зрозумілий індикатор того, досяг чи тест значущості та набрав достатній обсяг вибірки. Також хочемо захисту від передчасних висновків: дашборд повинен повідомляти, коли рішення приймати ще рано. Це саме інструмент експериментів, а не перемикач feature-флагів і не звичайна веб-аналітика: акцент на контрольованих тестах та чесній математиці значущості.
Для розмітки сайтів потрібен легкий SDK, бажано JavaScript для браузера плюс простий серверний варіант, який отримує призначений варіант та відправляє події конверсії назад. Він повинен бути швидким, кешувати призначення та м'яко деградувати, щоб зламаний експеримент ніколи не ламав сторінку. Результат повинен бути готовий до production'у та задокументований, щоб після передачі наша команда сама створювала та вела експерименти.
— Конструктор експериментів: варіанти, зважений розподіл трафіку, таргетинг аудиторії, кілька цілей
— Стійке призначення за відвідувачем, узгоджене між сесіями та за можливості пристроями
— Рушій статистики: коефіцієнти конверсії, довірчі інтервали, прирост, перевірка значущості та обсягу вибірки
— Дашборд результатів з метриками за варіантами та зрозумілою рекомендацією продовжувати або зупинити
— Клієнтський та серверний SDK для призначення варіантів та трекингу подій з м'яким запасним режимом
— Документація та коротка передача проекту, щоб команда вела експерименти самостійно
Серце роботи — рушій статистики та дашборд результатів. По кожному активному експерименту потрібно бачити відвідувачів, конверсії та коефіцієнт конверсії за варіантами, а також коректний розрахунок значущості, щоб зрозуміти, коли результату можна довіряти, а коли це просто шум. Просимо передбачити довірчі інтервали, прирост відносно контрольної групи та зрозумілий індикатор того, досяг чи тест значущості та набрав достатній обсяг вибірки. Також хочемо захисту від передчасних висновків: дашборд повинен повідомляти, коли рішення приймати ще рано. Це саме інструмент експериментів, а не перемикач feature-флагів і не звичайна веб-аналітика: акцент на контрольованих тестах та чесній математиці значущості.
Для розмітки сайтів потрібен легкий SDK, бажано JavaScript для браузера плюс простий серверний варіант, який отримує призначений варіант та відправляє події конверсії назад. Він повинен бути швидким, кешувати призначення та м'яко деградувати, щоб зламаний експеримент ніколи не ламав сторінку. Результат повинен бути готовий до production'у та задокументований, щоб після передачі наша команда сама створювала та вела експерименти.
— Конструктор експериментів: варіанти, зважений розподіл трафіку, таргетинг аудиторії, кілька цілей
— Стійке призначення за відвідувачем, узгоджене між сесіями та за можливості пристроями
— Рушій статистики: коефіцієнти конверсії, довірчі інтервали, прирост, перевірка значущості та обсягу вибірки
— Дашборд результатів з метриками за варіантами та зрозумілою рекомендацією продовжувати або зупинити
— Клієнтський та серверний SDK для призначення варіантів та трекингу подій з м'яким запасним режимом
— Документація та коротка передача проекту, щоб команда вела експерименти самостійно
Розробка програм Готівка, Банківський переказ
