Разберемся с ключевым понятием машинного обучения – градиентным спуском. Фактически это способ оптимизации модели путем поиска параметров, минимизирующих функцию стоимости. Последняя является мерой эффективности модели и принимает разные значения в зависимости от задачи, например, для предсказания цены квартиры (см. статью) она может принять следующий вид: В данном случае функция стоимости считает сумму квадратов разности предсказанной и реальной цены по всем примерам. Так как чем сумма меньше,...

Градиентный спуск(подъем) Градиентный спуск(подъем) - один из наиболее популярных методов оптимизации в машинном обучении. Оптимизация - это процесс нахождения точек максимума/минимума некоторой функции. Для объяснения механизма его работ приведу простой пример для градиентного подъема. Представьте, что вас десантировали в незнакомый вам город и дали задание подняться на самую высокую точку в округе. При этом на улице сильный туман и вы видите не дальше одного метра вокруг. Как вам при этом найти...

Оптимизатор — это метод повышения производительности Модели (Model) Глубокого обучения (Deep Learning). Эти алгоритмы сильно влияют на Долю правильных ответов (Accuracy) и скорость обучения. При обучении модели глубокого обучения нам необходимо изменить Веса (Weights) – коэффициенты, которые присваиваются каждому Признаку-столбцу (Feature) и передают важность этого соответствующего признака при прогнозировании. Более того, веса позволяют минимизировать Функцию потерь (Loss Function). Чем меньше ее значение, тем ближе предсказание модели к реальным значениям...