Начало: Математика для чайников. Глава 1. Что такое математическая абстракция. Предыдущая глава: Математика для чайников. Глава 17. Численные методы В прошлой главе мы говорили о численных методах. Тогда я вскользь упомянул, что эти методы можно применять в задачах математической оптимизации. А сегодня мы рассмотрим методы оптимизации более подробно. Для начала, давайте разберемся, а что вообще такое оптимизация? Часто некоторые деятели (всякие там «эффективные» менеджеры) занимаются имитацией бурной деятельности, а потом гордо говорят, что они что-то там «оптимизируют»...

Источник: Nuances of Programming Градиентный спуск  —  это одна из важнейших идей в области машинного обучения, в котором алгоритм с учетом функции затрат итеративно выполняет шаги с наибольшим уклоном вниз, и, спустя достаточное число циклов, теоретически завершается в точке минимума...