История А/Б тестов для продактов 🫢
Все продакты так или иначе запускают A/B тесты, но задумывались ли вы о том, откуда это все пошло? Если вы думаете, что это все идет из математической статистики, то этот пост для вас.
Первое клиническое исследование
Путь этого метода начинается в медицине, задолго до появления термина «A/B». Первое задокументированное исследование провёл шотландский врач Джеймс Линд в 1747 году на корабле HMS Salisbury. Он лечил цингу у моряков, разделив 12 человек на шесть пар с разными методами лечения. Только те, кто получал цитрусовые, выздоровели за шесть дней. Хотя группы не были случайными, эксперимент стал предшественником современных рандомизированных клинических исследований (рис. 1).
Начало метода разности разностей
В 1846 году венгерский врач Игнац Земмельвейс заметил, что в отделении, где рожениц принимали врачи, смертность от родильной горячки была значительно выше, чем у акушерок. Он предположил, что врачи заносят инфекцию после вскрытий. В 1847 году он ввёл мытьё рук хлорным раствором — и смертность снизилась с 18% до 1–2%. Земмельвейс сравнил данные до и после вмешательства, что и стало прообразом A/B тестов и метода разницы в разностях.
Переворот в области экспериментального дизайна
В 1920-х, исследуя урожайность на станции Rothamsted, Рональд Фишер сформулировал три ключевых принципа:
— рандомизация (исключает "шум")
— репликация (отделяет случайные колебания от эффекта)
— блокирование (учёт внешних факторов, как тип почвы).
Эти идеи, изложенные в его работах 1926 и 1935 годов, легли в основу современных клинических исследований и A/B тестов (рис. 2).
Маркетинг и почтовые рассылки
Идея сравнения вариантов пришла в маркетинг в конце XIX века. Уже в 1870-х Montgomery Ward тестировал отклик на разные письма, а позже агентства вроде Lord & Thomas систематизировали подход: отправляли две версии каталога (A и B) разным группам и сравнивали продажи. Хотя распределение не всегда было случайным, это стало прообразом A/B тестов в бизнесе — выбор стал опираться на данные, а не интуицию.
📬 Интересно, что спустя столетие похожий подход использовал Т-банк: на старте он доставлял кредитные карты почтой и активно тестировал разные офферы, тексты и обложки писем, чтобы повысить отклик. Это был прямой аналог A/B тестирования — только в офлайне.
Эпоха интернета
С появлением интернета A/B тесты вышли в бизнес. В 2009 году Google протестировал 41 оттенок синего для ссылок — незначительное изменение, которое, по их оценке, принесло миллионы. Хотя чистота эксперимента вызывала вопросы из-за различий в экранах, кейс показал: A/B тестирование ушло далеко от медицины и стало инструментом цифровых продуктов.
A/B тесты — основа маркетинга и IT. Проверяют всё: от заголовков до алгоритмов. Технологии автоматизируют процесс, но часто итоги всё равно подводят вручную. Но не стоит забывать, что за тестами перекраски кнопки стоит медицина и математематическая статистика
Про что рассказать в следующий раз? Пишите в комментариях!
👨💻Продакт поехал #product
