Оптимизация – это процесс настройки Гиперпараметров (Hyperparameter) для минимизации Целевой функции (Cost Function). Иными словами, это набор методов совершенствования Модели (Model) Машинного обучения (ML). Чтобы справляться со своей основной задачей, модель использует такую функцию, обладающую множеством аргументов. Значение каждого из этих аргументов меняется в ходе оптимизации. Выражаясь простыми словами, на анимации ниже можно увидеть, как целевая функция под воздействием того или иного оптимизатора...

Чтобы найти точки перегиба функции, необходимо найти значения x, в которых меняется направление выпуклости или вогнутости функции. Шаги для нахождения точек перегиба функции: 1. Найдите вторую производную функции. Если у вас уже есть f `(x) вычислите f ''(x) (вторая производная). 2. Решите уравнение f ''(x) = 0 для определения особых точек, где происходит смена выпуклости или вогнутости функции. - Если решения этого уравнения существуют, они указывают на точки перегиба функции. - Если решения уравнения нет - то точки перегиба не определены...