Переобучение (или overfitting) в нейронных сетях — это важная проблема, с которой сталкиваются исследователи и разработчики при работе с глубоким обучением. Давайте рассмотрим это явление более подробно. Что такое переобучение в нейронных сетях? Переобучение возникает, когда модель нейронной сети обучается на тренировочных данных слишком интенсивно и начинает выражать шум или случайные вариации, которые не имеют отношения к реальным данным...

В этой лекции сформулируем определения, связанные с обучающими выборками, использующимися для обучения нейронных сетей (или других методов машинного обучения). Прежде всего, под ГЕНЕРАЛЬНОЙ совокупностью (population) понимается множество всех возможных прецедентов (объектов, ситуаций, событий, образцов и т.п.), при этом под ВЫБОРКОЙ (sample, set) понимается конечный набор прецедентов, некоторым способом выбранных из множества ВСЕХ возможных прецедентов, т.е. это подмножество из генеральной совокупности...