Коротко. A/B-тест сравнивает две версии страницы на похожих пользователях. Работает, когда есть одна гипотеза, одна метрика и достаточный срок. Если менять всё сразу или останавливать тест на пике, результат ничего не доказывает.
Как читать материал. Сначала гипотеза и метрика, потом запуск и срок, потом решение. Нейросеть помогает сформулировать гипотезы, но не считает значимость без данных.
Что такое A/B-тест
Часть посетителей видит версию A, часть — версию B. Сравнивается целевая метрика: заявка, клик, оплата. Вывод делается по разнице и объёму данных, а не на глаз.
Гипотеза
Плохо: «сделаем кнопку зелёной, вдруг вырастет конверсия». Хорошо: «если на первом экране показать цену, меньше людей будет искать её на других сайтах».
В гипотезе четыре части: что меняем, почему это должно сработать, какой эффект ждём и по какой метрике считаем.
Одна метрика
Выберите главную метрику заранее. Остальные — вспомогательные. Если смотреть десять метрик и выбирать ту, где выросло, результат случайен.
| Метрика | Когда использовать |
|---|---|
| Заявка | основной бизнес-показатель |
| Клик по кнопке | промежуточный шаг |
| Глубина | для контентных страниц |
| Время до действия | если важна скорость |
Срок и выборка
Тест не останавливают в первый день. Нужно накопить данные и пройти хотя бы полный цикл недели: будни и выходные ведут себя по-разному.
Не подглядывайте в результат каждые пять минут и не останавливайтесь на пике. Так можно «доказать» что угодно.
Если трафика мало, тест может не дать ответа.
Как провести
- Запишите гипотезу и метрику.
- Соберите версию B с одним изменением.
- Разделите трафик 50/50.
- Запустите на заранее выбранный срок.
- Проверьте, что цель считается в обеих версиях.
- Сравните результат и запишите вывод.
Классический путь. Сформулируйте гипотезу и посчитайте метрику за период.
С нейросетью. Попросите список гипотез и план проверки, но не расчёт значимости.
Вот страница и текущая конверсия. Предложи 5 гипотез с одной правкой
каждая. Для каждой укажи метрику и риск. Не придумывай проценты роста
и не утверждай, что гипотеза сработает.Проверка. Выберите одну гипотезу и запустите тест на срок, а не на глаз.
Частые ошибки
- Менять несколько элементов сразу.
- Останавливать тест при первом росте.
- Смотреть десять метрик.
- Сравнивать разные аудитории.
- Игнорировать сезонность и рекламу.
- Делать вывод на сотне визитов.
- Не записывать результат.
Влияет ли это на SEO
A/B-тест сам по себе не должен влиять на позиции, если обе версии доступны роботу. Не закрывайте вариант B от поисковика и не подменяйте контент только для ботов.
Если тест меняет URL, это уже не тест, а переезд. Тогда нужны редиректы.
Где помогает нейросеть
| Задача | Что делает модель | Что проверять руками |
|---|---|---|
| Гипотезы | предлагает варианты | реализуемость |
| Тексты | пишет варианты | не искажает ли текст факты |
| План | расписывает шаги | метрики |
| Разбор | объясняет цифры | источник данных |
Вопросы
Сколько должен длиться тест?
Минимум неделю, лучше две. Ориентируйтесь на трафик и цикл покупки.
Нужна ли статистическая значимость?
Да, если хотите делать вывод. Считайте значимость после теста, а не на глаз.
Можно ли тестировать SEO-страницы?
Да, если обе версии доступны и не мешают обходу.
Может ли нейросеть посчитать результат?
Она объяснит данные, но расчёт значимости делайте в калькуляторе или аналитике.
Связанные материалы
Источники
Официальные документы 3
- Яндекс Varioqub: справкаyandex.ru
- Яндекс Метрика: справкаyandex.ru
- Google: полезный контентdevelopers.google.com