Устали от «идеальных» ML-кейсов? Где данные всегда чистые, метрики стабильные, а модель после обучения сразу готова к продакшену. Ведь в реальной работе всё иначе: метрики могут упасть за ночь, данные – измениться, а решение нужно принимать быстро, да еще и с неполной информацией. Поэтому мы запускаем новую рубрику «ML в реальной жизни» – здесь будут ситуации, с которыми сталкиваются ML/DS-команды в продакшене. Сразу же предупредим, что в этой рубрике нет единственно правильных ответов. Её цель – научиться рассуждать, обсуждать подходы и смотреть на проблемы с разных сторон. Поэтому, если хотите, чтобы рубрика была вам максимально полезна, в комментариях важно не просто выбрать вариант, а объяснить: — почему выбрали именно его — что бы вы проверяли — какие риски вы бы учитывали Сегодня у нас ситуация №1: Метрики упали на 40% за ночь Контекст: В продакшене работает модель прогнозирования оттока. Утром вы видите: — precision упал с 0.82 до 0.49 — recall — с 0.76 до 0.41 Последний деплой модели был 3 дня назад, изменений в пайплайне не было. Данные поступают из того же источника. Внимание, вопрос: Что будете делать в первую очередь? Откатите модель на предыдущую версию Проверите, не "поехали" ли входные данные (дрейф, пропуски, аномалии) Запустите A/B-тест: часть трафика на старую модель, часть – на текущую Свой вариант – напишу в комментариях Все посты этой рубрики можно будет посмотреть по тэгу: #риллайф_MLinside
1 день назад
