A/B-тесты
сайта.

Зачем нужен A/B-тест

A/B-тест — это способ закончить спор о том, какой заголовок лучше. Половине посетителей показывают текущую версию страницы, половине — изменённую, и сравнивают, где больше заявок.

Ценность не в самой процедуре, а в том, что решения перестают приниматься на вкус. Без замера правки превращаются в бесконечное обсуждение цвета кнопки; с замером — в понятный список того, что дало прирост, а что нет.

Шаг 1. Определите цель

До начала теста нужно назвать один показатель, ради которого всё затевается: заявки с формы, звонки, добавления в корзину, переходы на страницу услуги.

Цель должна быть измеримой и одна. «Улучшить сайт» целью не является — под неё нельзя посчитать результат. «Увеличить долю визитов, заканчивающихся отправленной формой» — является.

И цель должна быть настроена в аналитике заранее. Тест без настроенных целей даёт цифры, которым нечем поверить.

Шаг 2. Сформулируйте гипотезу

Гипотеза — это конкретное утверждение, которое можно опровергнуть: «если заменить текст кнопки с „Отправить“ на „Получить расчёт“, доля отправленных форм вырастет».

Хорошая гипотеза опирается на наблюдение, а не на фантазию. Вебвизор показывает, что люди бросают форму на четвёртом поле, — отсюда гипотеза о сокращении формы. Карта скролла показывает, что до кнопки долистывает пятая часть, — отсюда гипотеза о втором призыве выше по странице.

Проверять можно что угодно: заголовок, изображение, порядок блоков, длину формы, текст и положение кнопки. Важно одно — за раз меняется что-то одно.

Шаг 3. Разделите трафик

Контрольная группа A видит текущую версию, экспериментальная B — изменённую. Распределение должно быть случайным и равномерным, иначе результат будет говорить не об изменении, а о разнице между группами.

Один и тот же посетитель при повторном визите должен попадать в ту же версию: человек, у которого страница меняется между заходами, ведёт себя непредсказуемо и портит данные.

Шаг 4. Соберите данные

Главная ошибка — остановить тест, как только появился перевес. На малых числах разница между версиями почти всегда случайна, и красивый результат первого дня к концу недели обычно разворачивается.

Тест нужно вести достаточно долго, чтобы разница перестала быть совпадением, и обязательно захватывать целые недели: поведение в понедельник и в субботу разное. Учитывайте и внешние обстоятельства — праздники, сезон, запуск рекламной кампании, публикацию в СМИ. Всё это искажает картину.

Шаг 5. Разберите результат

Если версия B выиграла — внедряйте изменение на постоянной основе и переходите к следующей гипотезе. Если проиграла или разницы нет — это тоже результат: вы узнали, что этот элемент на решение не влияет, и не потратили на него ещё месяц.

Смотрите на цель, а не на промежуточные показатели. Вариант, который собирает больше кликов по кнопке, но меньше отправленных форм, обещает больше, чем даёт, — и внедрять его не нужно.

Ценность метода накопительная: один тест почти ничего не меняет, десяток последовательных тестов заметно поднимает конверсию.

Где тесты чаще всего врут

• Слишком мало трафика. При нескольких десятках визитов в неделю тест не закончится никогда — тут быстрее и честнее опросить клиентов.
• Меняли несколько элементов сразу. Версия выиграла, но какой именно правкой — неизвестно, и повторить успех не получится.
• Сравнивали разные периоды. «Было в марте, стало в апреле» — это не A/B-тест, а сравнение двух разных месяцев.
• Проверяли мелочь. Оттенок кнопки редко решает, а вот оффер, цена и длина формы решают почти всегда — начинать стоит с них.

Частые вопросы

Сколько должен длиться тест?

До тех пор, пока накопленных данных не хватит, чтобы разница перестала быть случайной, — и целое число недель. Конкретный срок зависит от трафика и от того, насколько велика разница.

Можно ли тестировать сразу три версии?

Можно, но трафик делится на три, и ждать придётся заметно дольше. При небольшой посещаемости лучше сравнивать две.

Вредит ли A/B-тест позициям в поиске?

Нет, если обе версии показывают людям и поисковым роботам одинаково и тест не длится бесконечно. Подмена содержания специально для робота — другая история, и она наказуема.

С чего начать, если тестов ещё не было?

С первого экрана и формы: там сосредоточена основная потеря. Заголовок, текст кнопки и число полей — три самые доходные гипотезы.

Что делать дальше

Выпишите три вещи на сайте, о которых у вас внутри идёт спор. Это и есть очередь гипотез — проверяйте их по одной, а не внедряйте все сразу.

Мы настраиваем аналитику и ведём такие итерации — это разработка сайтов. Дальше пригодятся разборы, как повысить конверсию лендинга и как писать призыв к действию.