38 подписчиков
Устали от «идеальных» ML-кейсов?
Где данные всегда чистые, метрики стабильные, а модель после обучения сразу готова к продакшену. Ведь в реальной работе всё иначе: метрики могут упасть за ночь, данные – измениться, а решение нужно принимать быстро, да еще и с неполной информацией.
Поэтому мы запускаем новую рубрику «ML в реальной жизни» – здесь будут ситуации, с которыми сталкиваются ML/DS-команды в продакшене. Сразу же предупредим, что в этой рубрике нет единственно правильных ответов. Её цель – научиться рассуждать, обсуждать подходы и смотреть на проблемы с разных сторон.
Поэтому, если хотите, чтобы рубрика была вам максимально полезна, в комментариях важно не просто выбрать вариант, а объяснить:
— почему выбрали именно его
— что бы вы проверяли
— какие риски вы бы учитывали
Сегодня у нас ситуация №1:
Метрики упали на 40% за ночь
Контекст:
В продакшене работает модель прогнозирования оттока. Утром вы видите:
— precision упал с 0.82 до 0.49
— recall — с 0.76 до 0.41
Последний деплой модели был 3 дня назад, изменений в пайплайне не было. Данные поступают из того же источника.
Внимание, вопрос:
Что будете делать в первую очередь?
Откатите модель на предыдущую версию
Проверите, не "поехали" ли входные данные (дрейф, пропуски, аномалии)
Запустите A/B-тест: часть трафика на старую модель, часть – на текущую
Свой вариант – напишу в комментариях
Все посты этой рубрики можно будет посмотреть по тэгу: #риллайф_MLinside
1 минута
Вчера