Эволюция А/Б тестов, часть 2
В прошлой части — про Клода Хопкинса, рекламиста, который изобрёл А/Б на купонах в 1907 году. Сегодня — параллельная история, в Англии на сельхоз-станции Rothamsted статистик Рональд Фишер занимался совсем другим — превращал «эксперимент» в науку с правилами.
Хопкинс — папа практики А/Б, Фишер — папа методологии. Без него «вероятность победителя 96%» в А/Б инструментах не существовала бы.
Кейс 1: Картошка в Rothamsted, 1919–1924
Британская сельхоз-станция сравнивает удобрения на картошке с 1852 года. К 1918 накоплено 60+ лет данных, но что реально работает понять не могут — поля разные, погода разная.
В 1919 туда приходит молодой статистик Рональд Фишер. Он недоумевает: нельзя сравнивать «тот край поля с этим» — освещение, почва, ветер всё разное. Нужны правила.
Что вводит Фишер:
— Участки распределяются случайно.
— Рядом с тестовыми идут контрольные.
— Нужен критерий: насколько результат отличается от того что мог дать случай.
Между «посадили» и «выкопали» — целый сезон. Но именно тогда родились три понятия, без которых сегодня нет ни одного теста: рандомизация, контроль, статистическая значимость.
Кейс 2: Lady Tasting Tea, 1935
Самый известный его эксперимент. На чаепитии коллега-биолог Мюриэль Бристоль утверждает: чувствует разницу, налили в чашку сначала чай или молоко. Никто не верит. Фишер ставит тест.
8 чашек в случайном порядке: 4 «молоко первым», 4 «чай первым». Бристоль пробует вслепую.
Перед тестом Фишер вводит концепт «нулевой гипотезы» (null hypothesis) — фундаментальное понятие современной статистики. На примере чашек объясняется просто. Нулевая гипотеза здесь — что у Бристоль НЕТ способности различать, она просто угадывает наугад. Цель теста не «доказать что Бристоль различает», а «показать что гипотеза угадывания настолько маловероятна, что её можно отвергнуть». Это контринтуитивно, но так работает вся современная статистика.
Если бы Бристоль угадывала наугад, шанс правильно отгадать все 8 чашек = 1 из 70 возможных комбинаций = 1,43%.
Угадала все 8.
То есть вероятность что результат — случайность = 1,43%. А вероятность что она реально различает = 98,57%. Фишер ввёл условный порог: если шанс случайности меньше 5%, гипотезу «наугад» отвергаем, считаем эффект реальным. Самая цитируемая фраза Фишера: «нулевую гипотезу нельзя доказать, её можно только опровергнуть».
Это ровно та же логика, что в Sellium. Когда в А/Б отчёте «вероятность победителя 96%» — это «вероятность что варианты равны = всего 4%». То есть нулевая гипотеза «А и Б одинаковые» отвергнута, потому что прошла порог Фишера 5%.
В том же году выходит его книга «The Design of Experiments» — оттуда p-value, доверительные интервалы и весь современный А/Б инструментарий.
Что ещё придумал Фишер — сравнение сразу нескольких вариантов
В 1925 году Фишер описал метод, который позволяет сравнить ВСЕ варианты одновременно одним тестом. За этим стоит «анализ дисперсии» — по-английски ANOVA (ANalysis Of VAriance). На этом методе построены все современные многовариантные тесты — везде где вы видите сравнение 3+ вариантов одновременно, под капотом сидят идеи Фишера почти 100-летней давности, в том числе и в рекомендательной системе Sellium.
В следующей части — Джон Кейплс, копирайтер из директ-мейл агентства 1920-х. Автор заголовка «They Laughed When I Sat Down at the Piano…», который я обыграл в первой части. Если Хопкинс заложил принцип А/Б, а Фишер дал ему математику, то Кейплс превратил всё это в конвейер: тестировал не один-два заголовка, а сразу десятки вариантов в каждой рассылке, и фактически написал первый учебник по А/Б тестированию рекламы...
👍🏻❤️🤩 - продолжай
