Метод градиентного спуска является одним из наиболее популярных приемов машинного обучения. Его ключевое предназначение заключается в вычислении параметров, минимизирующих функцию потерь, которая является математическим приближением цели, которую мы хотим достичь в ходе построения модели.
В основе работы градиентного спуска лежит итеративное вычисление градиента/производной функции с целью улучшения параметров на каждом шаге. При этом производная указывает направление приращения обратное требуемому, так как, если функция потерь убывает, производная отрицательна, и мы должны увеличить аргумент, если возрастает, производная положительна, и надо уменьшить аргумент. Формула имеет следующий вид:
Рассмотрим, как вычислить минимум функции на практике:
Сначала посчитаем производную
Последовательность следующих значений будет такая:
Как можно заметить, мы постепенно приближаемся к минимуму функции потерь (0 при аргументе = 10).