В ответ на пост #76 #исследования После рассказа был занятный вопрос - а может ли cuped ухудшить чувствительность теста. Мой теоретический ответ в моменте - нет, если будет низкая корреляция метрики с ковариаты или у ковариаты слишком большой разброс, то просто theta будет очень маленькой и получим считай что исходную метрику Но почему-то задумался о вопросе после встречи и бахнул поверх еще моделирование и теперь достаточно уверен в ответе. Коротко что сделал: - генерировал данные тест/контроль в AA/AB вариациях (без аплифта / с ним) - генерировал шум из разных распределений и подавал как ковариаты в СUPED Контроль ошибок I рода выполняется на желаемых 0.05 По мощности лучше не стало, но и не упали (картинка)
2 часа назад