Юзабилити-аудит заканчивается списком: здесь люди бросают форму, тут не видят цену, на телефоне не находят кнопку. Каждый пункт — это гипотеза, а не доказанный факт. Одни правки действительно добавят заявок, другие ничего не изменят, а некоторые могут даже навредить.
Эта статья — вторая часть разговора об аудите. Аудит даёт список гипотез, а A/B-тестирование сайта проверяет, какие из них на самом деле увеличивают число заявок. Разберём, когда сплит-тест нужен, а когда трафика мало и правильнее просто внедрять, как сформулировать гипотезу, сколько держать тест и какие ошибки чаще всего портят результат.
Что такое A/B-тест и зачем он нужен после аудита
A/B-тест — это эксперимент, в котором посетители случайным образом делятся на две группы. Одна видит текущую версию страницы (A), другая — изменённую (B). Обе группы живут в одном и том же периоде, с одной рекламой и сезоном, поэтому разницу в результатах можно приписать именно изменению.
Без теста оценить правку сложнее. Если сменить форму и через месяц увидеть рост заявок, непонятно, что сработало: новая форма, удачная рекламная кампания, начало сезона или конкурент, который ушёл с рынка. Сравнение «до и после» смешивает все эти факторы, а проверка гипотез на сайте через A/B-тест их разделяет.
После аудита это особенно полезно. Выводы аудита опираются на записи Вебвизора, карты кликов и тесты с пятью-семью пользователями. Они хорошо объясняют, почему люди уходят, но не говорят, насколько вырастут заявки после исправления. A/B-тест закрывает этот вопрос цифрами.
Когда A/B-тест нужен, а когда лучше просто внедрять
Главное ограничение A/B-тестов — трафик. Чтобы отличить реальный эффект от случайности, нужна достаточная выборка: много посетителей и, главное, много целевых действий в каждой группе. Если за неделю сайт получает несколько заявок, разница между вариантами в одну-две заявки ничего не значит — её с тем же успехом мог дать случай.
Статистическая значимость простыми словами
Значимость отвечает на вопрос: насколько вероятно увидеть такую разницу, если на самом деле варианты одинаковы. Принято считать результат надёжным, когда эта вероятность мала, обычно порог задают на уровне 5%. Чем меньше эффект, который вы хотите поймать, и чем ниже исходная конверсия, тем больше посетителей нужно, чтобы его заметить.
Нужный размер выборки считают до запуска: в калькулятор вводят текущую конверсию, минимальный эффект, который важен для бизнеса, и уровень значимости. Получится число посетителей на каждый вариант. Разделите его на дневной трафик страницы, и станет ясно, займёт тест две недели или полгода.
Что делать при малом трафике
Для небольших сайтов и B2B с редкими заявками рабочая схема другая. Явные ошибки из аудита — сломанная маска телефона, лишние поля, спрятанная цена — исправляют сразу, без теста: их вред очевиден. Спорные изменения проверяют на пользователях до разработки, на прототипе. А после внедрения сравнивают те же отчёты и воронки Метрики за сопоставимые периоды, помня о том, что такое сравнение менее точное.
Ещё один приём — тестировать не конечную заявку, а более частое промежуточное действие: переход в корзину, начало заполнения формы, клик по телефону. Такие события случаются чаще, и выборка набирается быстрее. Но вывод тогда касается именно этого шага, а не итоговых продаж.
Как сформулировать гипотезу
Слабая гипотеза звучит как «сделаем кнопку зелёной и посмотрим». Сильная связывает изменение, ожидаемый результат и причину. Удобный шаблон: «Если мы изменим X, то метрика Y вырастет, потому что Z», где Z взято из данных аудита.
Пример: «Если убрать из формы заявки поле „Компания“, доля отправленных форм вырастет, потому что аналитика форм показывает, что на этом поле бросает заполнение заметная часть посетителей, а в Вебвизоре люди с телефона пропускают его и уходят». Такую гипотезу легко проверить и легко объяснить команде, даже если она не подтвердится.
- Изменение одно и описано конкретно: какой элемент, на какой странице, на каких устройствах.
- Есть причина из данных: запись Вебвизора, шаг воронки, фраза из теста с пользователями.
- Выбрана одна основная метрика, по которой будет решение.
- Понятно, какой минимальный эффект важен для бизнеса и сколько трафика нужно, чтобы его заметить.
Одна метрика и длительность теста
До запуска фиксируют одну основную метрику — ту, ради которой затевается изменение. Обычно это достижение цели в Метрике: отправка формы, оформление заказа, клик по мессенджеру. Дополнительные метрики смотреть можно, но решение принимают по основной. Иначе среди десятка показателей всегда найдётся тот, что «вырос», и любой вариант можно объявить победителем.
Полезно добавить и защитную метрику — то, что не должно ухудшиться. Например, новая форма может дать больше заявок, но с большей долей мусорных обращений. Тогда стоит посмотреть на качество лидов в CRM, а не только на число отправленных форм.
Длительность считают из размера выборки, но есть и нижняя граница: не меньше одной полной недели, а лучше две. Поведение в будни и выходные заметно различается, особенно в B2B, и тест, который захватил только часть недели, покажет искажённую картину.
Решение по тесту принимают по одной метрике, выбранной до запуска. Иначе победителем можно объявить любой вариант.
Как провести A/B-тест: порядок действий
- Проверить аналитику. Цели в Метрике настроены и срабатывают корректно на всех устройствах. Без этого тест будет сравнивать шум.
- Выбрать гипотезу из списка аудита. Начать с той, где сильное влияние на заявки сочетается с достаточным трафиком на странице.
- Рассчитать выборку и срок. Посчитать число посетителей на вариант и перевести его в недели при текущем трафике.
- Подготовить вариант B. Сделать изменение в дизайне и коде, проверить его на телефоне и в основных браузерах, убедиться, что страница не стала медленнее.
- Настроить эксперимент. В России для этого обычно используют Varioqub — платформу Яндекса для A/B-тестов, которая работает в связке с Яндекс Метрикой. Google Optimize, которым раньше часто пользовались, Google закрыл в 2023 году. Тест можно провести и силами разработки: сайт сам делит посетителей и передаёт номер варианта в аналитику.
- Запустить и не трогать. Не менять рекламу, цены и саму страницу до окончания расчётного срока.
- Подвести итог. Сравнить варианты по основной метрике, проверить значимость и защитную метрику, записать вывод.
Типичные ошибки A/B-тестирования
Другие ошибки встречаются не реже:
- Много изменений сразу. Если в варианте B новые заголовок, форма и кнопка, даже при выигрыше неясно, что сработало, а при проигрыше удачная правка может потеряться вместе с неудачной. Большие переделки сравнивают целиком, но понимают, что это проверка концепции, а не отдельных элементов.
- Сезонность и внешние события. Распродажи, праздники, запуск новой рекламной кампании меняют аудиторию. Тест, проведённый в такой период, может не повториться в обычный месяц.
- Неравные группы. Если вариант B случайно чаще показывают мобильным посетителям или одному источнику трафика, сравнение искажено. Распределение по сегментам стоит проверить в начале теста.
- Мерцание страницы. Когда вариант подменяется скриптом уже после загрузки, человек на долю секунды видит старую версию. Это само по себе влияет на поведение и портит чистоту эксперимента.
- Сравнение с забытой целью. Цель в Метрике сломалась посередине теста, а заметили это только в конце. Перед подведением итогов стоит сверить данные теста с заявками в CRM.
Что тестировать в первую очередь
Приоритеты те же, что после аудита: сначала шаги, через которые проходит каждый клиент, и места, где в воронке самое резкое падение. Изменение на странице оформления заказа затрагивает всех покупателей, а правка на странице «О компании» — небольшую часть посетителей.
- Формы заявки. Число и порядок полей, текст кнопки, что человек видит после отправки, альтернативы форме: мессенджер, звонок, квиз.
- Первый экран посадочной. Заголовок под рекламный запрос, оффер, видимость цены и главного действия.
- Карточка товара и корзина. Подача цены и доставки, блок доверия, шаги оформления.
- Мобильная версия ключевых страниц. Расположение кнопки, липкая панель с контактами, длина страницы до формы.
Мелочи вроде цвета кнопки или формы скругления редко дают заметный эффект, и на небольшом трафике их разница просто не будет видна. Начинать с них — значит тратить недели на тест, который почти наверняка закончится ничьей.
Что делать после теста
У теста три возможных исхода, и каждый полезен. Если вариант B выиграл со значимой разницей, его внедряют для всех и убирают из кода тестовую логику. Если проиграл, возвращают исходную версию и записывают, почему гипотеза не подтвердилась. Если разницы нет, изменение можно внедрить по другим причинам — например, оно упрощает поддержку, — или отказаться от него.
Результаты стоит вести в одном журнале: гипотеза, срок, метрика, итог, вывод. Через несколько месяцев этот журнал становится самым ценным знанием о ваших клиентах: что на них действует, а что нет. Новые гипотезы для следующего круга берутся из того же аудита, повторного анализа воронок и обращений в отдел продаж.
A/B-тесты — продолжение работы над сайтом после запуска, а не отдельный проект. IT-агентство Sphere занимается разработкой сайтов в Москве и по России от аналитики до запуска и развития: разбираем данные Метрики, проектируем изменения, делаем дизайн и код варианта и настраиваем аналитику, чтобы результат было видно в цифрах. Примеры — среди наших проектов по разработке сайтов.
Частые вопросы
Сколько трафика нужно для A/B-теста?
Точного порога нет: нужный объём зависит от текущей конверсии и того, какую разницу вы хотите заметить. Чем реже совершается целевое действие и чем меньше ожидаемый эффект, тем больше посетителей нужно. Перед запуском посчитайте выборку калькулятором и прикиньте, сколько недель займёт тест при вашем трафике. Если выходят месяцы, лучше внедрить изменение и сравнить периоды.
Чем A/B-тест отличается от сплит-теста?
Часто это синонимы. Иногда сплит-тестом называют сравнение двух отдельных версий страницы на разных адресах, а A/B-тестом — смену одного элемента на той же странице. Принцип одинаковый: трафик делится случайно, и варианты сравнивают по одной метрике за один и тот же период.
Можно ли проводить несколько A/B-тестов одновременно?
Можно, если они идут на разных страницах или в разных сценариях и не влияют на одну и ту же метрику. Два теста на одной форме заявки одновременно смешают эффекты, и результат нельзя будет честно приписать ни одному из изменений.
Что делать, если тест не показал разницы?
Это тоже результат: изменение не влияет на заявки заметно, значит, его можно внедрить по другим соображениям или отказаться от него. Запишите вывод и переходите к следующей гипотезе из списка. Иногда стоит проверить более смелый вариант того же изменения, потому что слабая правка могла просто не дать эффекта, который видно на вашем трафике.




