219 подписчиков
Последний сложный 😁для понимания пост на этой неделе.
Ниже - список основных алгоритмов обучения нейронных сетей с учителем.
1️⃣ Алгоритмы локальной оптимизации с вычислением частных производных первого порядка:
- градиентный алгоритм (метод наискорейшего спуска),
- алгоритм обратного распространения ошибки (BackPropagation) (разобрали в предыдущем посте)
- методы с одномерной и двумерной оптимизацией целевой функции в направлении антиградиента,
- метод сопряженных градиентов,
- методы, учитывающие направление антиградиента на нескольких шагах алгоритма.
2️⃣ Алгоритмы локальной оптимизации с вычислением частных производных первого и второго порядка:
- метод Ньютона,
- методы оптимизации с разреженными матрицами Гессе,
- квазиньютоновские методы,
- метод Гаусса-Ньютона,
- метод Левенберга-Марквардта и др.
3️⃣ Стохастические алгоритмы оптимизации:
- поиск в случайном направлении,
- имитация отжига,
- метод Монте-Карло (численный метод статистических испытаний).
👉️️️️ @aisimple
Около минуты
26 июля 2023