Лекции по методам оптимизации
Лекция 1. Введение в методы оптимизации Содержание лекции Презентация. Лекция № 2.Необходимые и достаточные условия экстремума Содержание лекции Презентация. Лекция № 3. Численные методы поиска безусловного экстремума (Часть 1. Одномерные методы нулевого порядка) Содержание лекции Презентация Лекция № 4. Численные методы поиска безусловного экстремума (Часть 2. Многомерные методы нулевого порядка) Содержание лекции Презентация...
1 год назад
Последний сложный 😁для понимания пост на этой неделе. Ниже - список основных алгоритмов обучения нейронных сетей с учителем. 1️⃣ Алгоритмы локальной оптимизации с вычислением частных производных первого порядка: - градиентный алгоритм (метод наискорейшего спуска), - алгоритм обратного распространения ошибки (BackPropagation) (разобрали в предыдущем посте) - методы с одномерной и двумерной оптимизацией целевой функции в направлении антиградиента, - метод сопряженных градиентов, - методы, учитывающие направление антиградиента на нескольких шагах алгоритма. 2️⃣ Алгоритмы локальной оптимизации с вычислением частных производных первого и второго порядка: - метод Ньютона, - методы оптимизации с разреженными матрицами Гессе, - квазиньютоновские методы, - метод Гаусса-Ньютона, - метод Левенберга-Марквардта и др. 3️⃣ Стохастические алгоритмы оптимизации: - поиск в случайном направлении, - имитация отжига, - метод Монте-Карло (численный метод статистических испытаний). 👉️️️️ @aisimple