Описание проекта
У нас растущий веб-продукт, и мы хотим перестать угадывать, какие изменения действительно влияют на показатели. Цель проекта — полноценная платформа экспериментов, которая позволит продуктовой и маркетинговой командам запускать контролируемые тесты без правки бэкенда каждый раз. Эксперимент должен задаваться выбором целевой аудитории, описанием двух и более вариантов, назначением доли трафика (например 50/50 или взвешенное распределение) и выбором одной или нескольких целей конверсии: регистрация, клик, оформленная покупка. После запуска система обязана стабильно удерживать каждого посетителя в одном и том же варианте между сессиями, чтобы результаты оставались чистыми.
Сердце работы — движок статистики и дашборд результатов. По каждому активному эксперименту нужно видеть посетителей, конверсии и коэффициент конверсии по вариантам, а также корректный расчёт значимости, чтобы понимать, когда результату можно доверять, а когда это просто шум. Просим предусмотреть доверительные интервалы, прирост относительно контрольной группы и понятный индикатор того, достиг ли тест значимости и набрал ли достаточный объём выборки. Также хотим защиту от преждевременных выводов: дашборд должен сообщать, когда решение принимать ещё рано. Это именно инструмент экспериментов, а не переключатель фича-флагов и не обычная веб-аналитика: акцент на контролируемых тестах и честной математике значимости.
Для разметки сайтов нужен лёгкий SDK, желательно JavaScript для браузера плюс простой серверный вариант, который получает назначенный вариант и отправляет события конверсии обратно. Он должен быть быстрым, кэшировать назначения и мягко деградировать, чтобы сломанный эксперимент никогда не ломал страницу. Результат должен быть готов к продакшену и задокументирован, чтобы после передачи наша команда сама создавала и вела эксперименты.
— Конструктор экспериментов: варианты, взвешенное деление трафика, таргетинг аудитории, несколько целей
— Устойчивое назначение по посетителю, согласованное между сессиями и по возможности устройствами
— Движок статистики: коэффициенты конверсии, доверительные интервалы, прирост, проверка значимости и объёма выборки
— Дашборд результатов с метриками по вариантам и понятной рекомендацией продолжать или остановить
— Клиентский и серверный SDK для назначения вариантов и трекинга событий с мягким запасным режимом
— Документация и короткая передача проекта, чтобы команда вела эксперименты самостоятельно
Сердце работы — движок статистики и дашборд результатов. По каждому активному эксперименту нужно видеть посетителей, конверсии и коэффициент конверсии по вариантам, а также корректный расчёт значимости, чтобы понимать, когда результату можно доверять, а когда это просто шум. Просим предусмотреть доверительные интервалы, прирост относительно контрольной группы и понятный индикатор того, достиг ли тест значимости и набрал ли достаточный объём выборки. Также хотим защиту от преждевременных выводов: дашборд должен сообщать, когда решение принимать ещё рано. Это именно инструмент экспериментов, а не переключатель фича-флагов и не обычная веб-аналитика: акцент на контролируемых тестах и честной математике значимости.
Для разметки сайтов нужен лёгкий SDK, желательно JavaScript для браузера плюс простой серверный вариант, который получает назначенный вариант и отправляет события конверсии обратно. Он должен быть быстрым, кэшировать назначения и мягко деградировать, чтобы сломанный эксперимент никогда не ломал страницу. Результат должен быть готов к продакшену и задокументирован, чтобы после передачи наша команда сама создавала и вела эксперименты.
— Конструктор экспериментов: варианты, взвешенное деление трафика, таргетинг аудитории, несколько целей
— Устойчивое назначение по посетителю, согласованное между сессиями и по возможности устройствами
— Движок статистики: коэффициенты конверсии, доверительные интервалы, прирост, проверка значимости и объёма выборки
— Дашборд результатов с метриками по вариантам и понятной рекомендацией продолжать или остановить
— Клиентский и серверный SDK для назначения вариантов и трекинга событий с мягким запасным режимом
— Документация и короткая передача проекта, чтобы команда вела эксперименты самостоятельно
Разработка программ Наличные, Банковский перевод
