Градиентный спуск(подъем) Градиентный спуск(подъем) - один из наиболее популярных методов оптимизации в машинном обучении. Оптимизация - это процесс нахождения точек максимума/минимума некоторой функции. Для объяснения механизма его работ приведу простой пример для градиентного подъема. Представьте, что вас десантировали в незнакомый вам город и дали задание подняться на самую высокую точку в округе. При этом на улице сильный туман и вы видите не дальше одного метра вокруг. Как вам при этом найти...

Разберемся с ключевым понятием машинного обучения – градиентным спуском. Фактически это способ оптимизации модели путем поиска параметров, минимизирующих функцию стоимости. Последняя является мерой эффективности модели и принимает разные значения в зависимости от задачи, например, для предсказания цены квартиры (см. статью) она может принять следующий вид: В данном случае функция стоимости считает сумму квадратов разности предсказанной и реальной цены по всем примерам. Так как чем сумма меньше,...