Когда мы говорим о машинном обучении (не в смысле обучения людей при помощи машин, а в смысле обучения машин всяким интеллектуальным фишкам типа распознавания лиц, предсказания курсов акций и т.п.), встречается такой термин, как переобучение. Так вот, его смысл очень отличается от стандартного бытового. Когда мы говорим о переобучении применительно к людям, мы имеем в виду обучение чему-то новому того, кто уже умеет что-то другое: «Наш слесарь Иван Дулин прошёл переобучение, и теперь он фэшн-блогер». Применительно же к машинному обучению здесь приставка "пере-" имеет смысл "излишне", и переобучение...

Переобучение – это случай, когда значение Функции потери (Loss Function) действитеьно малó, но Модель (Model) Машинного обучения (ML) ненадежна. Это связано с тем, что модель «слишком много учится» на обучающем наборе данных. Когда мы входим в сферу ML, появляются двусмысленные термины: Переобучение, Недообучение (Underfitting) и Дилемма смещения-дисперсии (Bias-Variance Trade-off). Эти концепции лежат в основе Машинного обучения в целом. Почему нам вообще должно быть до этого дело? Возможно, модели машинного обучения преследуют одну единственную цель: хорошо обобщать...