Описание проекта
Мы льём платный трафик сразу на две посадочные страницы и уже который месяц спорим, какая из них лучше. Спор решается на глаз: кто последним открыл отчёт, тот и прав. На одной неделе сильнее выглядит первая страница, на следующей — вторая, и никто не может сказать, настоящая это разница или обычный разброс на паре сотен кликов. При этом решения мы принимаем всерьёз: перекладываем бюджет туда-сюда и переписываем блоки по ощущению.
Хочу поставить нормальный сравнительный тест и закрыть спор цифрой, которой можно верить. Работа начинается задолго до разделения трафика. Сначала нужен список гипотез, выстроенный по приоритету — что даст больше при меньших затратах на проверку, чтобы мы разбирались с заголовком и блоком предложения раньше, чем с цветом кнопки. Потом честная разметка целей и событий: одна главная метрика, по которой принимается решение, вспомогательные — только для наблюдения, и отправка формы, которая не считается дважды. Дальше настройка сплита, расчёт нужного объёма выборки до запуска по текущей конверсии и минимально значимой для нас разнице, и согласованный срок, который мы не двигаем по ходу.
Три условия прошу записать в план с самого начала. Тест останавливается по заранее рассчитанному объёму выборки, а не тогда, когда цифра стала красивой. Разница в пределах погрешности объявляется отсутствием разницы, а не победой той страницы, которая кому-то больше нравится. И роста и цены конверсии мне никто не обещает: тест отвечает на поставленный вопрос, а не гарантирует результат, — это моя позиция, а не претензия к работе.
Что жду на выходе:
— список гипотез по приоритету с объяснением порядка;
— карта целей и событий: главная метрика, вспомогательные, проверка счётчиков на реальных заявках;
— настройка деления трафика с проверкой, что обе страницы получают сопоставимую аудиторию;
— расчёт объёма выборки и срока до запуска, с записанными допущениями;
— правила ведения теста без подглядывания в середине и перечень причин для досрочной остановки;
— разбор результата с доверительным интервалом, объяснённый словами, а не одним p-значением;
— короткий документ с выводами и списком следующих гипотез.
Хочу поставить нормальный сравнительный тест и закрыть спор цифрой, которой можно верить. Работа начинается задолго до разделения трафика. Сначала нужен список гипотез, выстроенный по приоритету — что даст больше при меньших затратах на проверку, чтобы мы разбирались с заголовком и блоком предложения раньше, чем с цветом кнопки. Потом честная разметка целей и событий: одна главная метрика, по которой принимается решение, вспомогательные — только для наблюдения, и отправка формы, которая не считается дважды. Дальше настройка сплита, расчёт нужного объёма выборки до запуска по текущей конверсии и минимально значимой для нас разнице, и согласованный срок, который мы не двигаем по ходу.
Три условия прошу записать в план с самого начала. Тест останавливается по заранее рассчитанному объёму выборки, а не тогда, когда цифра стала красивой. Разница в пределах погрешности объявляется отсутствием разницы, а не победой той страницы, которая кому-то больше нравится. И роста и цены конверсии мне никто не обещает: тест отвечает на поставленный вопрос, а не гарантирует результат, — это моя позиция, а не претензия к работе.
Что жду на выходе:
— список гипотез по приоритету с объяснением порядка;
— карта целей и событий: главная метрика, вспомогательные, проверка счётчиков на реальных заявках;
— настройка деления трафика с проверкой, что обе страницы получают сопоставимую аудиторию;
— расчёт объёма выборки и срока до запуска, с записанными допущениями;
— правила ведения теста без подглядывания в середине и перечень причин для досрочной остановки;
— разбор результата с доверительным интервалом, объяснённый словами, а не одним p-значением;
— короткий документ с выводами и списком следующих гипотез.
Реклама и Маркетинг Наличные, Банковский перевод
