Вы запускаете тест. Меняете кнопку. Ждёте неделю. Конверсия выросла на 12%. Радость.
Потом масштабируете — и всё падает обратно.
Я через это проходил. И не один раз. A/B-тестирование кажется простым: сравнил вариант A и B — выбрал лучший. Но на практике большинство тестов либо дают ложные выводы, либо вообще бесполезны.
A/B-тестирование — это метод сравнения двух версий (A и B) для определения, какая из них даёт лучший результат по конкретной метрике. Используется для роста конверсии, снижения CAC и увеличения LTV.
Разберём, как делать это правильно. С конкретным процессом и ошибками, которые сливают бюджет.
Что такое A/B-тест и зачем он нужен бизнесу
Суть простая: вы показываете двум группам пользователей разные версии страницы, объявления или продукта.
И смотрите:
- где выше конверсия
- где ниже стоимость лида
- где лучше удержание
Но важный момент.
A/B-тест — это не про «проверить идею».
Это про принять решение на основе данных.
Если тест не влияет на бизнес-метрику — он не нужен.
Я видел команды, которые тестируют цвет кнопки неделями.
При этом у них сломан весь воронка.
Когда A/B-тестирование действительно нужно
Не всегда стоит запускать тесты. Иногда это просто трата времени.
Запускайте, если:
- есть стабильный трафик
- есть проблема (низкая конверсия, высокий CAC)
- есть гипотеза, как это улучшить
Не запускайте, если:
- трафика мало
- нет чёткой метрики
- хотите «просто попробовать»
И да, это частая ошибка.
Пошаговый процесс A/B-тестирования
Вот как я делаю это в проектах.
1. Определите цель теста
Не «улучшить сайт». Конкретнее.
Примеры:
- увеличить конверсию в заявку с 3% до 4%
- снизить CPL с 1 200 до 900 ₽
Одна цель = один тест.
2. Выберите метрику
Без метрики тест бессмысленен.
Чаще всего:
- CR (conversion rate)
- CPL (cost per lead)
- CTR (click-through rate)
Важно:
- метрика должна быть связана с деньгами
- не тестируйте «всё сразу»
3. Сформулируйте гипотезу
Формат, который работает:
Если [изменение], то [результат], потому что [причина]
Пример:
- Если добавить отзывы на лендинг, то конверсия вырастет, потому что увеличится доверие
Без причины гипотеза слабая.
4. Рассчитайте объём выборки
Вот где большинство ошибается.
Запускают тест на 200 посетителей. Делают выводы.
Это шум.
Нужно:
- достаточное количество пользователей
- статистическая значимость
Обычно:
- минимум 1 000–3 000 пользователей на вариант
- но зависит от ниши
5. Запустите тест
Правила:
- 50/50 трафик
- одинаковые условия
- один фактор изменения
Не меняйте:
- цену
- аудиторию
- канал
Иначе это уже не A/B-тест.
6. Дождитесь результатов
Самая сложная часть.
Не останавливайте тест раньше времени.
Минимум:
- 7 дней (чтобы захватить неделю)
- лучше 2–3 недели
Ранний стоп — главная причина ложных выводов.
7. Проанализируйте результат
Смотрите:
- есть ли статистическая значимость
- насколько выросла метрика
- влияет ли это на деньги
Иногда:
- +10% к CTR
- но 0 к прибыли
Такое тоже бывает.
8. Примите решение
Только три варианта:
- Внедрить победителя
- Оставить как есть
- Запустить новый тест
Никаких «ну вроде лучше».
Чек-лист A/B-теста
Перед запуском пробегитесь по этому списку:
- Есть конкретная цель
- Выбрана одна метрика
- Сформулирована гипотеза
- Хватает трафика
- Меняется один элемент
- Тест длится минимум 7 дней
- Есть критерий успеха
Если нет хотя бы одного пункта — тест слабый.
Типичные ошибки в A/B-тестировании
Вот где сливаются бюджеты.
1. Маленькая выборка
Самая частая ошибка.
Выводы делаются на шуме.
Результат:
- ложные победители
- неправильные решения
2. Несколько изменений сразу
Меняют:
- заголовок
- кнопку
- картинку
И не понимают, что сработало.
3. Раннее завершение теста
Конверсия выросла в первые дни → остановили.
Через неделю всё откатилось.
Это классика.
4. Игнор статистики
Смотрят:
- «кажется лучше»
- «визуально кликов больше»
Но нет значимости.
Это не тест. Это гадание.
5. Неправильная метрика
Тестируют:
- CTR
- но не смотрят продажи
В итоге:
- кликов больше
- денег меньше
6. Отсутствие системы
Запускают тесты хаотично:
- без приоритизации
- без базы гипотез
- без логирования
Через месяц никто не помнит, что тестировали.
Большинство A/B-тестов не дают значимого результата. И это нормально.
Я запускаю 10 тестов — 7 не дают эффекта.
2 — дают небольшой рост.
1 — даёт сильный результат.
Именно ради него всё и делается.
Реальный кейс: как тест увеличил конверсию
Проект: B2B-сервис.
Было:
- конверсия лендинга: 2.4%
Гипотеза:
- добавить кейсы клиентов → повысить доверие
Тест:
- A: текущая версия
- B: версия с кейсами
Результат:
- B: 3.1% (+29%)
Что это дало:
- CPL снизился с 2 100 до 1 600 ₽
Рост небольшой. Но на объёме — серьёзные деньги.
Антипаттерны: как делать не надо
Список короткий, но важный.
- «Давайте протестим всё»
- «Кажется, вариант B лучше»
- «Давайте остановим раньше»
- «У нас мало трафика, но попробуем»
- «Не будем считать статистику»
Если узнаёте себя — тесты не работают.
Что тестировать в первую очередь
Я всегда начинаю с этого:
- Оффер (что вы предлагаете)
- Заголовок
- Призыв к действию
- Социальное доказательство
- Цена / условия
Не кнопки. Не цвета.
Сначала — смыслы.
Выводы
- A/B-тест — это инструмент принятия решений, а не эксперименты ради интереса
- Одна гипотеза — один тест
- Без статистики — нет результата
- Большинство тестов не срабатывают — это нормально
- Тестируйте то, что влияет на деньги
Если тесты не меняют экономику — вы просто двигаете пиксели.
Больше кейсов, статей и опыта — на моём сайте: https://egormayer.su/