Коротко
A/B-тест — сравнение двух вариантов страницы, между которыми трафик делится случайно. Он даёт ответ, которому можно доверять, когда на каждый вариант приходится достаточно посетителей и заявок. Для сайта услуг с конверсией в несколько процентов это обычно тысячи визитов на вариант, чтобы заметить ощутимую разницу. Если на сайт приходит несколько сотен человек в месяц, тест будет идти месяцами или покажет случайный результат. В таком случае полезнее вносить изменения по качественным данным — записям поведения, вопросам клиентов — и сравнивать периоды с осторожностью.
Почему нужно много трафика
Учебный расчёт. Сейчас форму отправляют 3% посетителей. Вы хотите проверить, поднимет ли новый первый экран конверсию до 4,5% — это рост в полтора раза.
По стандартной формуле расчёта размера выборки (уровень значимости 5%, мощность 80%) нужно около 2 500 визитов на каждый вариант, то есть около 5 000 визитов на тест. При 800 визитах в месяц это больше полугода.
Если ожидаемая разница меньше — например, с 3% до 3,6%, — визитов понадобится в несколько раз больше.
Почему маленький тест обманывает
Учебный пример. Вариант А: 200 визитов, 6 заявок (3%). Вариант Б: 200 визитов, 10 заявок (5%). Кажется, Б лучше на 66%. Но разница в 4 заявки при таком объёме легко возникает случайно: повторите тест ещё раз — и победителем может оказаться А.
Решения на основе таких данных — то же самое, что подбрасывание монеты, только с ощущением научности.
Когда A/B-тест имеет смысл
- тысячи визитов в месяц на тестируемую страницу;
- десятки заявок в неделю;
- изменение достаточно заметное, чтобы ожидать ощутимую разницу;
- есть инструмент, который делит трафик случайно и честно считает результаты;
- вы готовы ждать, не подглядывая и не останавливая тест раньше времени.
Что делать при маленьком трафике
1. Опирайтесь на качественные данные. Записи Вебвизора, карты скроллинга, вопросы клиентов по телефону, причины отказов. Если 8 из 10 записей показывают, что люди ищут цену и не находят её — это достаточное основание добавить цену без теста.
2. Вносите изменения по одному и сравнивайте периоды. Такое сравнение слабее теста: на результат влияют сезон, реклама, погода. Но если изменение одно, а остальное стабильно, сравнение даёт ориентир. Подробнее — в статье «Как сравнить результаты до и после редизайна».
3. Тестируйте в рекламе. Объявления получают больше показов, чем страница — визитов. Тест заголовков объявлений может дать ответ быстрее. Подробнее — в статье о тесте рекламных объявлений.
4. Делайте крупные изменения. Маленькая правка — цвет кнопки — даёт маленький эффект, который не заметен на малом трафике. Новый первый экран с другим предложением даёт шанс увидеть разницу.
5. Проверяйте на людях. Покажите два варианта страницы 5–7 знакомым из целевой аудитории и попросите рассказать, что они поняли. Это даёт качественный ответ быстро.
Чек-лист
- Посчитано, сколько визитов нужно для теста.
- Трафика достаточно — или выбран другой метод.
- Изменения крупные и обоснованные.
- Сравнение периодов делается при одном изменении.
- Выводы записаны вместе с ограничениями.
Я создаю сайты и веду Яндекс.Директ. В блоге разбираю, как связать содержание страницы, рекламу и работу с обращениями.
Об авторе ↗
