Я уверен, что историю развития экспериментов (aka AB тесты) можно поделить на 4 этапа:
0. До 17 века - отсутствие экспериментов. В это время выводы о причинах и следствиях делаются из личного опыта и убеждений.
1. 17-20 века - классические эксперименты. Уже появилось много статистических концепций вроде рандомизации, ЦПТ, доверительные интервалы и т.п. В этот период вывод о наличии эффекта и его величине делался по следующему пути - берем большое количество данных, делим по случайным группам и оцениваем стат. критериями.
2. Середина 20 века - наши дни - прогнозные эксперименты. Развитие по двум направлениям:
Во-первых, фреймворки классических экспериментов обросли кучей полезностей и теперь мы умеем сильно точнее и с меньшими усилиями определять величину эффектов от воздействия.
Во-вторых, развитие прогнозных моделей привело к тому, что мы можем на всех оказать воздействие, а для оценки эффекта спрогнозируем как бы подопытные вели себя, если бы на них не оказывалось воздействие.
3. Наши дни - будущее - искусственная оптимизация. Если мы уже умеем прогнозировать поведение подопытных во времени, то почему бы не научиться прогнозировать их поведение в случае если на них будет оказан эффект. Ожидаю что именно решение этой задачи даст огромный скачок в оптимизации каких-либо явлений, ведь в такой ситуации исследователям не надо будет реализовывать разные эксперименты, достаточно просто их описывать и получать оценку ожидаемого эффекта, а затем задачу по описанию можно переложить на другую модель и будут 2 робота искать оптимальный дизайн вашего веб-сайта.
В аргумент, что это не абсолютный бред приведу исследование ребят из Гарварда, где обнаружили, что даже GPT-3.5 неплохо умеет отвечать на вопросы как типичный потребитель.
Чтобы идею выше уместить в 251 слово я 3 дня по 4-5 часов читал статьи по истории статистики, а полный список занимательных рассуждений и фактов на 5 страниц опубликовал по ссылке
Любите статистику, ищите не смещенные статзначимые эффекты 📝
PS говорят уже и этап 3 реализовали - sales ninja
1 минута
31 июля 2024