Для борьбы с переобучением в нейронной сети (НС) используется регуляризация, которая является подмножеством методов, способствующих обобщению изучаемых моделей, часто за счёт препятствования изучению мелких деталей.
Простейшим методом регуляризации является раннее прекращение, которое позволяет избежать переобучение обучающим набором. Оно заключается в прерывании обучения в момент, когда его производительность на проверочном наборе начинает падать. Для последующей проверки того, как обучилась НС можно использовать валидационный набор данных.
Ещё одним методом регуляризации является ограничение весов связей нейронной сети. Это можно сделать путём добавления к целой функции регуляризатора в одном из следующих видов:
- L2-регуляризатор, т.е. сумма квадратов весов.
- L1-регуляризатор, т.е. сумма модулей весов.
Также существует ещё одни эффективный метод, часто используемый в последнее время - дропаут (Dropaut). Его идея заключается в том, что для каждого нейрона (за исключением последнего выходного слоя) устанавливается некоторая вероятность p, с которой он будет выброшен из сети. В следствии этого алгоритм меняется так, что для каждого нового тренировочного примера вычисляется некоторая вероятность p на подобие броска монетки, от значения которой нейрон либо используется как обычно, либо устанавливаем его выход строго равным нулю в следствии чего нейрон фактически выпадает из графа вычислений.
Литература: "Глубокое Обучение. Погружение в мир нейронных сетей." С. Николенко