Последний сложный 😁для понимания пост на этой неделе. Ниже - список основных алгоритмов обучения нейронных сетей с учителем. 1️⃣ Алгоритмы локальной оптимизации с вычислением частных производных первого порядка: - градиентный алгоритм (метод наискорейшего спуска), - алгоритм обратного распространения ошибки (BackPropagation) (разобрали в предыдущем посте) - методы с одномерной и двумерной оптимизацией целевой функции в направлении антиградиента, - метод сопряженных градиентов, - методы, учитывающие направление антиградиента на нескольких шагах алгоритма. 2️⃣ Алгоритмы локальной оптимизации с вычислением частных производных первого и второго порядка: - метод Ньютона, - методы оптимизации с разреженными матрицами Гессе, - квазиньютоновские методы, - метод Гаусса-Ньютона, - метод Левенберга-Марквардта и др. 3️⃣ Стохастические алгоритмы оптимизации: - поиск в случайном направлении, - имитация отжига, - метод Монте-Карло (численный метод статистических испытаний). 👉️️️️ @aisimple