На что влияет ускорение экспериментов и зачем банкам нужны собственные R&D-лаборатории, рассказывает Кирилл Николаев, директор по аналитике Т-Банка, спикер Fintech Data Day.
— Чем обусловлена актуальность задачи ускорения экспериментов в области работы с данными?
К. Николаев: Сегодня все крупные компании, работающие в B2C-секторе, постоянно проводят тестирования на клиентах, чтобы улучшать свои продукты и бизнес-показатели. Ключевыми факторами в таких тестах являются объем аудитории и чувствительность используемых методов, позволяющих точно определить, как то или иное изменение влияет на поведение клиентов. Продуктовая аналитика, которая активно развивается в России в последнее десятилетие (к слову, наша страна — родина такого явления, как продуктовый дата-аналитик), позволяет обоснованно измерять и показывать, какие измеримые улучшения работают, а какие нет.
Использование методов снижения шума, дисперсии, выделения главных
факторов изменений обеспечивает существенное повышение чувствительности
экспериментов и ускорение их проведения.
Существуют различные методы повышения чувствительности экспериментов:
снижение дисперсии, такие как вычитание базового уровня, Multi-CUPED,
выделение главного сигнала, предсказательные модели и другие. На
практике такие подходы позволяют ускорить проведение экспериментов в 5–7
раз, а теоретически даже до 10 раз, сохраняя при этом мощность и
применимость измеряемых метрик.
Ускорение экспериментов является критически важным фактором. Когда в
компании работают сотни аналитиков, а клиентская база насчитывает
миллионы пользователей, скорость проведения исследований ограничена
именно объемом этой базы, возможностью влиять на нее и видеть значимый,
интерпретируемый результат.
Чем быстрее проводятся эксперименты, тем больше гипотез можно проверить...
Продолжение читайте на https://futurebanking.ru/post/4168