39 подписчиков
Метрики выросли. Код работает. Можно катить в прод?
Если вы не можете ответить «да» с цифрами в руках – вы не закончили работу. Вы её только начали.
Чтобы отвечать на этот вопрос уверенно, в специализации появился новый блок, посвящённый A/B-тестированию. В нём всё, что нужно, чтобы грамотно проектировать эксперименты, анализировать их результаты и понимать, действительно ли изменения приносят пользу продукту.
Зачем это вам:
Даже если метрики выросли, это ещё не означает, что новая модель лучше. Разница в 0,3% может оказаться обычной случайностью, а команда потратит месяцы на оптимизацию, которая не приносит значимой пользы.
Именно A/B-тестирование помогает отделить реальные улучшения от статистического шума и понять, действительно ли изменения работают.
В новом блоке вас ждут 24 урока и 7 часов практики, на которых разберём:
▪️Основы экспериментов:
— как проектировать A/B-тесты;
— какие статистические критерии выбирать;
— какие ошибки чаще всего допускают и как их избежать.
▪️Продвинутые методы:
— бутстрэп и доверительные интервалы;
— ускорение экспериментов с помощью CUPED;
— последовательный анализ на практике.
▪️Индустриальную практику:
— инструменты продуктовых команд: GrowthBook и аналоги;
— реальные кейсы из индустрии, включая опыт МТС.
Что в итоге:
Это один из тех блоков, после которого меняется сам подход к работе с ML-моделями. Вместо «кажется, стало лучше» вы сможете проектировать эксперименты, выбирать корректные статистические критерии, интерпретировать результаты и принимать решения на основе данных.
Новый блок по A/B-тестированию уже доступен в специализации «AI и анализ данных».
Переходите по ссылке, чтобы посмотреть полную программу, сравнить варианты подписки и выбрать подходящий формат обучения: mlinside.ru/...k-5
1 минута
3 дня назад