Мы продолжаем нашу рубрику, где задаем ситуации, с которыми сталкиваются ML/DS-команды в продакшене. В этой рубрике нет единственно правильных ответов. Её цель – научиться рассуждать, обсуждать подходы и смотреть на проблемы с разных сторон.
Поэтому, если хотите, чтобы рубрика была вам максимально полезна, в комментариях важно не просто выбрать вариант, а объяснить:
— почему выбрали именно его
— что бы вы проверяли
— какие риски вы бы учитывали
Сегодня у нас ситуация №3:
Ситуация: Модель молча сломалась
Контекст:
Модель в продакшене перестала обновлять прогнозы. Логи в норме, ошибок нет, пайплайн "зелёный". Но свежие предсказания не появляются. Вы подозреваете тихий сбой: завис джоб, кончилось место, изменился формат входных данных – но где именно, непонятно.
Варианты действий:
Что будете делать в первую очередь?
Все посты этой рубрики можно будет посмотреть по тэгу: #риллайф_MLinside