Доброго времени суток, сегодня поговорим о градиентном спуске, что это, зачем он нужен и как его сделать в коде с помощью языка программирования Python. Градиентный спуск, метод градиентного спуска — численный метод нахождения локального минимума или максимума функции с помощью движения вдоль градиента, один из основных численных методов современной оптимизации. Активно используется в вычислительной математике не только для непосредственного решения задач оптимизации (минимизации), но и для задач,...

Разберемся с ключевым понятием машинного обучения – градиентным спуском. Фактически это способ оптимизации модели путем поиска параметров, минимизирующих функцию стоимости. Последняя является мерой эффективности модели и принимает разные значения в зависимости от задачи, например, для предсказания цены квартиры (см. статью) она может принять следующий вид: В данном случае функция стоимости считает сумму квадратов разности предсказанной и реальной цены по всем примерам. Так как чем сумма меньше,...