Опис проєкту
ПерекладМи ведемо платний трафік одразу на дві посадкові сторінки і вже котрий місяць сперечаємось, яка з них краща. Суперечка вирішується на око: хто останнім відкрив звіт, той і має рацію. Одного тижня сильнішою виглядає перша сторінка, наступного — друга, і ніхто не може сказати, чи це справжня різниця, чи звичайний розкид на кількох сотнях кліків. А рішення ми ухвалюємо цілком серйозні: перекладаємо бюджет туди-сюди й переписуємо блоки за відчуттям.
Хочу поставити нормальний порівняльний тест і закрити суперечку числом, якому можна вірити. Робота починається задовго до поділу трафіку. Спершу потрібен перелік гіпотез, вишикуваний за пріоритетом — що дасть більше за менших витрат на перевірку, щоб ми розбиралися із заголовком і блоком пропозиції раніше, ніж із кольором кнопки. Далі чесна розмітка цілей і подій: одна головна метрика, за якою ухвалюється рішення, допоміжні лише для спостереження, і відправлення форми, яке не рахується двічі. Потім налаштування спліту, розрахунок потрібного обсягу вибірки до запуску за поточною конверсією та мінімально значущою для нас різницею, і узгоджений строк, який ми не рухаємо по ходу.
Три умови прошу записати в план від самого початку. Тест зупиняється за заздалегідь розрахованим обсягом вибірки, а не тоді, коли число стало гарним. Різниця в межах похибки оголошується відсутністю різниці, а не перемогою тієї сторінки, яка комусь більше подобається. І зростання та ціну конверсії мені ніхто не обіцяє: тест відповідає на поставлене запитання, а не гарантує результат, — це моя позиція, а не докір до роботи.
Що чекаю на виході:
— перелік гіпотез за пріоритетом із поясненням порядку;
— карта цілей і подій: головна метрика, допоміжні, перевірка лічильників на реальних заявках;
— налаштування поділу трафіку з перевіркою, що обидві сторінки отримують зіставну аудиторію;
— розрахунок обсягу вибірки та строку до запуску, із записаними припущеннями;
— правила ведення тесту без підглядання всередині та перелік причин для дострокової зупинки;
— розбір результату з довірчим інтервалом, пояснений словами, а не одним p-значенням;
— короткий документ із висновками та переліком наступних гіпотез.
Хочу поставити нормальний порівняльний тест і закрити суперечку числом, якому можна вірити. Робота починається задовго до поділу трафіку. Спершу потрібен перелік гіпотез, вишикуваний за пріоритетом — що дасть більше за менших витрат на перевірку, щоб ми розбиралися із заголовком і блоком пропозиції раніше, ніж із кольором кнопки. Далі чесна розмітка цілей і подій: одна головна метрика, за якою ухвалюється рішення, допоміжні лише для спостереження, і відправлення форми, яке не рахується двічі. Потім налаштування спліту, розрахунок потрібного обсягу вибірки до запуску за поточною конверсією та мінімально значущою для нас різницею, і узгоджений строк, який ми не рухаємо по ходу.
Три умови прошу записати в план від самого початку. Тест зупиняється за заздалегідь розрахованим обсягом вибірки, а не тоді, коли число стало гарним. Різниця в межах похибки оголошується відсутністю різниці, а не перемогою тієї сторінки, яка комусь більше подобається. І зростання та ціну конверсії мені ніхто не обіцяє: тест відповідає на поставлене запитання, а не гарантує результат, — це моя позиція, а не докір до роботи.
Що чекаю на виході:
— перелік гіпотез за пріоритетом із поясненням порядку;
— карта цілей і подій: головна метрика, допоміжні, перевірка лічильників на реальних заявках;
— налаштування поділу трафіку з перевіркою, що обидві сторінки отримують зіставну аудиторію;
— розрахунок обсягу вибірки та строку до запуску, із записаними припущеннями;
— правила ведення тесту без підглядання всередині та перелік причин для дострокової зупинки;
— розбір результату з довірчим інтервалом, пояснений словами, а не одним p-значенням;
— короткий документ із висновками та переліком наступних гіпотез.
Реклама та Маркетинг Готівка, Банківський переказ
