Когда мы говорим о машинном обучении (не в смысле обучения людей при помощи машин, а в смысле обучения машин всяким интеллектуальным фишкам типа распознавания лиц, предсказания курсов акций и т.п.), встречается такой термин, как переобучение. Так вот, его смысл очень отличается от стандартного бытового.
Когда мы говорим о переобучении применительно к людям, мы имеем в виду обучение чему-то новому того, кто уже умеет что-то другое: «Наш слесарь Иван Дулин прошёл переобучение, и теперь он фэшн-блогер».
Применительно же к машинному обучению здесь приставка "пере-" имеет смысл "излишне", и переобучение машинной модели обозначает тупо то, что модель, говоря научным языком, насмерть достали теми данными, которые она знает, в итоге она посчитала релевантными кучу признаков, которые чисто случайно вот так вот совпали, т.е. статистически закономерность вроде бы как есть (на этом конкретном наборе), а по факту закономерности нет.
В итоге переобученная модель в данных, на которых её обучали, выдаёт результаты безошибочно или с минимальными ошибками, а в реальных данных разбирается, как свинья в апельсинах. Как, например, если модель учили отличать собак от прочих животных, давая ей фотографии овчарок, доберманов и ризеншнауцеров в разных соблазнительных позах, а в реальной жизни ей попадаются мопсы с чихуахуа.
Конечно, вы можете сказать, что весь вопрос в том, чтобы обучающие данные хорошо и разнообразно подобрать. Однако, в реальной жизни мы тогда и используем машинные модели, когда сами не знаем всех закономерностей, так что не всегда возможно поклясться печёнкой на прокол калёной иглой, что данные достаточно разнообразны.
Тем не менее, методы борьбы с переобучением есть. И их гораздо больше одного.
#лаборофилия