Скорость обучения может быть самым важным гиперпараметром при настройке вашей нейронной сети. Поэтому очень важно знать, как исследовать влияние скорости обучения на производительность модели и построить интуитивное представление о динамике скорости обучения на поведении модели. Высокие скорости обучения приводят к нестабильности обучения, а маленькие скорости приводят к неудачам в обучении. Momentum может ускорить обучение, а графики скорости обучения могут помочь сблизить...