Оптимизация – это процесс настройки Гиперпараметров (Hyperparameter) для минимизации Целевой функции (Cost Function). Иными словами, это набор методов совершенствования Модели (Model) Машинного обучения (ML). Чтобы справляться со своей основной задачей, модель использует такую функцию, обладающую множеством аргументов. Значение каждого из этих аргументов меняется в ходе оптимизации. Выражаясь простыми словами, на анимации ниже можно увидеть, как целевая функция под воздействием того или иного оптимизатора...

Исследователи из МФТИ впервые систематически изучили, как изменяется и стабилизируется процесс обучения нейронных сетей по мере добавления новых данных. Их работа, сочетающая теоретический анализ и обширные эксперименты, показывает, что так называемый «ландшафт функции потерь» нейросети сходится к определенной форме при увеличении размера выборки, что имеет важные последствия для понимания глубинного обучения и разработки методов определения необходимого объема данных. Исследование опубликовано в Doklady Mathematics...