Явление двойного спуска в глубоком обучении обнаруженное в прошлом году, представляет собой феномен улучшения качества обучения нейронной сети, при дальнейшем дообучении ее после "переобучения".
Такого эффекта часто удается избежать путем тщательной регуляризации. Хотя такое поведение кажется довольно универсальным, сообщество еще не до конца понимает, почему так происходит, дальнейшее изучение этого явления считается одним из важных направлений исследований.
Как видно по графику, при увеличении количества параметров нейронной сети, мера ошибки уменьшается, увеличивается и снова увеличивается.
Согласно классической статистике, слишком большие модели - явная ошибка при обучении, однако современная теория машинного обучения гласит, что чем больше модель, тем лучше.
На графике обозначен порог интерполяции, момент, когда модель уже практически выучила обучающую выборку, а также так называемый критический режим, в котором увеличение обучающей выборки приведет к ухудшению модели, но это уже совсем другая история..
Статья является вольным неполным переводом статьи
https://openai.com/blog/deep-double-descent/
Русских аналогов подобной информации нет, поэтому если материал был интересен и нужно продолжение - напишите в комментариях.