12 подписчиков

Шикарный вопрос на понимание того, как работает статистический вывод

У нас есть черный ящик (мы не знаем как он устроен), в который мы можем подать данные (контрольную и тестовую выборки) и параметр alpha (ошибка первого рода)

В ответ мы получаем 0 (статзначимых различий нет) или 1 - различия есть

Вопрос - как нам оценить, насколько корректно работает этот черный ящик, если внутреннюю структуру мы узнать не можем?

Предлагается подумать самостоятельно - как вот отвечать на такое на интервью?)

Ответ (моя версия):

Кажется, что это вопрос на порассуждать и строго верного ответа просто нет. Я бы шел примерно по такому пути:

- Черный ящик, по сути, это какой-то неизвестный статистический критерий

- Я могу туда подать 2 выборки

1. Значит, я могу провести несколько тысяч (пусть будет 10k) искусственных АА-тестов, просто тупо сгенерив из распределения с одинаковыми параметрами кучу выборок (А и Б) либо с помощью бутстрапа

Далее, подав все такие пары выборок в наш черный ящик, получаем 10k нулей и единиц -> могу оценить эмпирическую ошибку первого рода просто как долю АА, для которых этот статкритерий выдал 1. Далее, сравнить полученное значение с исходным параметром alpha

2. Аналогично я могу провести АА-тесты, но уже с инъекцией эффекта -> оценить ошибку второго рода

3. Построить распределение p_value не получится, т.к. черный ящик такое нам не выдает (а было бы неплохо)

Пункты 1 и 2 можно также прогнать и для какого-нибудь известного критерия (например, ттеста), что позволит оценить, насколько неизвестный критерий вообще хорош

Также можно поиграться и с семейством распределений для наших синтетических выборок

#interview #ds #statistics

1 минута

13 апреля 2025