Две одинаковые двери в бетонной стене, правая дверь синяя

A/B-тестирование сайта: как проверить гипотезы после юзабилити-аудита

Юзабилити-аудит заканчивается списком: здесь люди бросают форму, тут не видят цену, на телефоне не находят кнопку. Каждый пункт — это гипотеза, а не доказанный факт. Одни правки действительно добавят заявок, другие ничего не изменят, а некоторые могут даже навредить.

Эта статья — вторая часть разговора об аудите. Аудит даёт список гипотез, а A/B-тестирование сайта проверяет, какие из них на самом деле увеличивают число заявок. Разберём, когда сплит-тест нужен, а когда трафика мало и правильнее просто внедрять, как сформулировать гипотезу, сколько держать тест и какие ошибки чаще всего портят результат.

Что такое A/B-тест и зачем он нужен после аудита

A/B-тест — это эксперимент, в котором посетители случайным образом делятся на две группы. Одна видит текущую версию страницы (A), другая — изменённую (B). Обе группы живут в одном и том же периоде, с одной рекламой и сезоном, поэтому разницу в результатах можно приписать именно изменению.

Без теста оценить правку сложнее. Если сменить форму и через месяц увидеть рост заявок, непонятно, что сработало: новая форма, удачная рекламная кампания, начало сезона или конкурент, который ушёл с рынка. Сравнение «до и после» смешивает все эти факторы, а проверка гипотез на сайте через A/B-тест их разделяет.

После аудита это особенно полезно. Выводы аудита опираются на записи Вебвизора, карты кликов и тесты с пятью-семью пользователями. Они хорошо объясняют, почему люди уходят, но не говорят, насколько вырастут заявки после исправления. A/B-тест закрывает этот вопрос цифрами.

Когда A/B-тест нужен, а когда лучше просто внедрять

Главное ограничение A/B-тестов — трафик. Чтобы отличить реальный эффект от случайности, нужна достаточная выборка: много посетителей и, главное, много целевых действий в каждой группе. Если за неделю сайт получает несколько заявок, разница между вариантами в одну-две заявки ничего не значит — её с тем же успехом мог дать случай.

Статистическая значимость простыми словами

Значимость отвечает на вопрос: насколько вероятно увидеть такую разницу, если на самом деле варианты одинаковы. Принято считать результат надёжным, когда эта вероятность мала, обычно порог задают на уровне 5%. Чем меньше эффект, который вы хотите поймать, и чем ниже исходная конверсия, тем больше посетителей нужно, чтобы его заметить.

Нужный размер выборки считают до запуска: в калькулятор вводят текущую конверсию, минимальный эффект, который важен для бизнеса, и уровень значимости. Получится число посетителей на каждый вариант. Разделите его на дневной трафик страницы, и станет ясно, займёт тест две недели или полгода.

Что делать при малом трафике

Для небольших сайтов и B2B с редкими заявками рабочая схема другая. Явные ошибки из аудита — сломанная маска телефона, лишние поля, спрятанная цена — исправляют сразу, без теста: их вред очевиден. Спорные изменения проверяют на пользователях до разработки, на прототипе. А после внедрения сравнивают те же отчёты и воронки Метрики за сопоставимые периоды, помня о том, что такое сравнение менее точное.

Ещё один приём — тестировать не конечную заявку, а более частое промежуточное действие: переход в корзину, начало заполнения формы, клик по телефону. Такие события случаются чаще, и выборка набирается быстрее. Но вывод тогда касается именно этого шага, а не итоговых продаж.

Как сформулировать гипотезу

Слабая гипотеза звучит как «сделаем кнопку зелёной и посмотрим». Сильная связывает изменение, ожидаемый результат и причину. Удобный шаблон: «Если мы изменим X, то метрика Y вырастет, потому что Z», где Z взято из данных аудита.

Пример: «Если убрать из формы заявки поле „Компания“, доля отправленных форм вырастет, потому что аналитика форм показывает, что на этом поле бросает заполнение заметная часть посетителей, а в Вебвизоре люди с телефона пропускают его и уходят». Такую гипотезу легко проверить и легко объяснить команде, даже если она не подтвердится.

Одна метрика и длительность теста

До запуска фиксируют одну основную метрику — ту, ради которой затевается изменение. Обычно это достижение цели в Метрике: отправка формы, оформление заказа, клик по мессенджеру. Дополнительные метрики смотреть можно, но решение принимают по основной. Иначе среди десятка показателей всегда найдётся тот, что «вырос», и любой вариант можно объявить победителем.

Полезно добавить и защитную метрику — то, что не должно ухудшиться. Например, новая форма может дать больше заявок, но с большей долей мусорных обращений. Тогда стоит посмотреть на качество лидов в CRM, а не только на число отправленных форм.

Длительность считают из размера выборки, но есть и нижняя граница: не меньше одной полной недели, а лучше две. Поведение в будни и выходные заметно различается, особенно в B2B, и тест, который захватил только часть недели, покажет искажённую картину.

Решение по тесту принимают по одной метрике, выбранной до запуска. Иначе победителем можно объявить любой вариант.

Как провести A/B-тест: порядок действий

  1. Проверить аналитику. Цели в Метрике настроены и срабатывают корректно на всех устройствах. Без этого тест будет сравнивать шум.
  2. Выбрать гипотезу из списка аудита. Начать с той, где сильное влияние на заявки сочетается с достаточным трафиком на странице.
  3. Рассчитать выборку и срок. Посчитать число посетителей на вариант и перевести его в недели при текущем трафике.
  4. Подготовить вариант B. Сделать изменение в дизайне и коде, проверить его на телефоне и в основных браузерах, убедиться, что страница не стала медленнее.
  5. Настроить эксперимент. В России для этого обычно используют Varioqub — платформу Яндекса для A/B-тестов, которая работает в связке с Яндекс Метрикой. Google Optimize, которым раньше часто пользовались, Google закрыл в 2023 году. Тест можно провести и силами разработки: сайт сам делит посетителей и передаёт номер варианта в аналитику.
  6. Запустить и не трогать. Не менять рекламу, цены и саму страницу до окончания расчётного срока.
  7. Подвести итог. Сравнить варианты по основной метрике, проверить значимость и защитную метрику, записать вывод.

Типичные ошибки A/B-тестирования

Другие ошибки встречаются не реже:

Что тестировать в первую очередь

Приоритеты те же, что после аудита: сначала шаги, через которые проходит каждый клиент, и места, где в воронке самое резкое падение. Изменение на странице оформления заказа затрагивает всех покупателей, а правка на странице «О компании» — небольшую часть посетителей.

Мелочи вроде цвета кнопки или формы скругления редко дают заметный эффект, и на небольшом трафике их разница просто не будет видна. Начинать с них — значит тратить недели на тест, который почти наверняка закончится ничьей.

Что делать после теста

У теста три возможных исхода, и каждый полезен. Если вариант B выиграл со значимой разницей, его внедряют для всех и убирают из кода тестовую логику. Если проиграл, возвращают исходную версию и записывают, почему гипотеза не подтвердилась. Если разницы нет, изменение можно внедрить по другим причинам — например, оно упрощает поддержку, — или отказаться от него.

Результаты стоит вести в одном журнале: гипотеза, срок, метрика, итог, вывод. Через несколько месяцев этот журнал становится самым ценным знанием о ваших клиентах: что на них действует, а что нет. Новые гипотезы для следующего круга берутся из того же аудита, повторного анализа воронок и обращений в отдел продаж.

A/B-тесты — продолжение работы над сайтом после запуска, а не отдельный проект. IT-агентство Sphere занимается разработкой сайтов в Москве и по России от аналитики до запуска и развития: разбираем данные Метрики, проектируем изменения, делаем дизайн и код варианта и настраиваем аналитику, чтобы результат было видно в цифрах. Примеры — среди наших проектов по разработке сайтов.

Частые вопросы

Сколько трафика нужно для A/B-теста?

Точного порога нет: нужный объём зависит от текущей конверсии и того, какую разницу вы хотите заметить. Чем реже совершается целевое действие и чем меньше ожидаемый эффект, тем больше посетителей нужно. Перед запуском посчитайте выборку калькулятором и прикиньте, сколько недель займёт тест при вашем трафике. Если выходят месяцы, лучше внедрить изменение и сравнить периоды.

Чем A/B-тест отличается от сплит-теста?

Часто это синонимы. Иногда сплит-тестом называют сравнение двух отдельных версий страницы на разных адресах, а A/B-тестом — смену одного элемента на той же странице. Принцип одинаковый: трафик делится случайно, и варианты сравнивают по одной метрике за один и тот же период.

Можно ли проводить несколько A/B-тестов одновременно?

Можно, если они идут на разных страницах или в разных сценариях и не влияют на одну и ту же метрику. Два теста на одной форме заявки одновременно смешают эффекты, и результат нельзя будет честно приписать ни одному из изменений.

Что делать, если тест не показал разницы?

Это тоже результат: изменение не влияет на заявки заметно, значит, его можно внедрить по другим соображениям или отказаться от него. Запишите вывод и переходите к следующей гипотезе из списка. Иногда стоит проверить более смелый вариант того же изменения, потому что слабая правка могла просто не дать эффекта, который видно на вашем трафике.

Обсудим ваш проект
Ещё по теме