221 подписчик
В 1975 году Пол Вербос разработал метод обратного распространения ошибки (BackPropagation). Этот метод лег в основу одноименного алгоритма.
В данном курсе для начинающих не будем углубляться в математику (подробнее поговорим об этом на сайте).
Напомним👆, что задача обучения - оптимально подобрать значения весовых коэффициентов.
Опишем кратко шаги алгоритма обратного распространения ошибки.
1. Исходные значения весовых коэффициентов задаются случайными значениями.
2. Расчет значений всех выходов нейронов всех слоев.
3. Расчет погрешности между выходным значением нейронной сети и эталонным образцом обучающей выборки.
3. По полученной погрешности рассчитываются невязки нейронов выходного (последнего) слоя сети. Невязкой называют величину ошибки (расхождения) приближённого равенства.
4. Рассчитываются невязки нейронов всех слоев в обратной последовательности начиная с предпоследнего.
5. Расчет весовых коэффициентов связей между нейронами.
6. Повторение цикла с шага 2 до тех пор пока не будет выполнено одно из условий :
- исчерпано заданное количество эпох обучения;
- достигнут удовлетворительный уровень ошибки по всей обучающей выборке;
- не происходит уменьшения ошибки обучающей выборки на протяжении заданного количества эпох обучения;
- исчерпано заданное физическое время обучения.
Это итерационный алгоритм, по-русски говоря, пошаговый.
Важный момент состоит в том, что для использования данного алгоритма функция активации должна быть дифференцирована.
Лучше использовать сигмоидную функцию или гиперболический тангенс.
1 минута
26 июля 2023