В процессе обучения нейросети вы можете допустить ошибки при разделении данных на тренировочные и проверочные. Из-за этого возникнет вероятность того, что модель слишком остро среагирует на сложные связи между входом и выходом. В результате вы получите очень неточную в прогнозах нейронную сеть, которая будет далека от внедрения в реальные рабочие процессы. Поздравляем, вы перетренировали модель. Как и в случае с мышцами, это не есть хорошо. Разбираемся в причинах этого явления и рассказываем, как его избежать...

Переобучение – это случай, когда значение Функции потери (Loss Function) действитеьно малó, но Модель (Model) Машинного обучения (ML) ненадежна. Это связано с тем, что модель «слишком много учится» на обучающем наборе данных. Когда мы входим в сферу ML, появляются двусмысленные термины: Переобучение, Недообучение (Underfitting) и Дилемма смещения-дисперсии (Bias-Variance Trade-off). Эти концепции лежат в основе Машинного обучения в целом. Почему нам вообще должно быть до этого дело? Возможно, модели машинного обучения преследуют одну единственную цель: хорошо обобщать...