Источник: Nuances of Programming “Не все, что блестит, — золото”. — Уильям Шекспир. Предыдущие части: Часть 1, Часть 2, Часть 3. В этой части мы ответим на вопрос: Как узнать, что наша модель действительно работает? Для этого нужно усвоить два очень важных для МО понятия: Недообучение и переобучение. Они часто дают о себе знать внезапно, перечеркивая всю работу над МО-моделью. Пока мы создаем модель — результаты выглядят вполне приемлемыми. Но стоит запустить ее в производство — оказывается, что наши решения были совершенно неправильными и модель плохо справляется с прогнозами...

Переобучение – это случай, когда значение Функции потери (Loss Function) действитеьно малó, но Модель (Model) Машинного обучения (ML) ненадежна. Это связано с тем, что модель «слишком много учится» на обучающем наборе данных. Когда мы входим в сферу ML, появляются двусмысленные термины: Переобучение, Недообучение (Underfitting) и Дилемма смещения-дисперсии (Bias-Variance Trade-off). Эти концепции лежат в основе Машинного обучения в целом. Почему нам вообще должно быть до этого дело? Возможно, модели машинного обучения преследуют одну единственную цель: хорошо обобщать...