🔠Вопрос_17: В чем заключается проблема взрыва градиента при использовании метода обратного распространения?
✔️Ответ:
Когда большие градиенты ошибок накапливаются и приводят к большим изменениям весов нейронной сети во время обучения, это называется проблемой взрывающегося градиента. Значения весов могут стать настолько большими, что переполнятся и приведут к значениям NaN. Это делает модель нестабильной, и обучение модели застопоривается, как и в случае проблемы исчезающего градиента.
https://neerc.ifmo.ru/wiki/index.php?title=Проблемы_нейронных_сетей