Разберемся с ключевым понятием машинного обучения – градиентным спуском. Фактически это способ оптимизации модели путем поиска параметров, минимизирующих функцию стоимости. Последняя является мерой эффективности модели и принимает разные значения в зависимости от задачи, например, для предсказания цены квартиры (см. статью) она может принять следующий вид: В данном случае функция стоимости считает сумму квадратов разности предсказанной и реальной цены по всем примерам. Так как чем сумма меньше,...

Стохастический градиентный спуск (Stochastic Gradient Descent) – это простой, но очень эффективный подход к подгонке линейных классификаторов и регрессоров под выпуклые Функции потерь (Loss Function), такие как Метод опорных векторов (SVM) и Логистическая регрессия (Logistic Regression). Несмотря на то, что SGD существует в сообществе Машинного обучения (ML) уже давно, совсем недавно он привлек значительное внимание в контексте крупномасштабного обучения. SGD успешно применяется для решения крупномасштабных...