Способность мозга живого организма обучаться с течением времени относится к фундаментальным свойствам и представляет особый интерес для изучения. Процесс обучения искусственных нейронных сетей не менее привлекателен, но, в отличие от мозга, позиционируется как тонкая настройка архитектуры с целью повышения эффективности решаемых задач. Функционирование ИНС совершенствуется по мере калибровки весовых коэффициентов связей. Умение обучаться на пройденных примерах ставит нейронные сети в более выигрышную позицию, чем другие системы, следующие по определенным алгоритмам.Парадигму обучения ИНС составляет сконструированный образ внешней среды, из которого система сама может выбирать подходящие данные. Правильно модифицированные весовые параметры, заложенные в базу данных, являются залогом быстрого и успешного обучения нейронной сети. Теоретическая часть обучения базируется на трех основных свойствах:
- Емкость – количество образов, которые система способна запомнить, и размер границ, в рамках которых система принимает решение;
- Сложность – число примеров, которые нужны системе в процессе обучения для обобщения образа;
- Мощность – размер вычислительной способности системы, которая необходима для нормального функционирования на обучающих примерах.
Существует несколько правил обучения ИНС, но большинство из них основываются на одном из самых первых и известных правиле Хэбба с некоторым количеством дополнений и изменений. Появление модификаций правила Хэбба связано с неудобством использования стандартных пороговых нейронов для обработки данных при построении ИНС. Процесс разработки различных правил обучения нейронных сетей непрерывно продолжается. Авторы регулярно публикуют свои новые наработки и идеи в научных изданиях, обмениваются опытом и улучшают уже существующие методы.
Правило Хэбба
Финальную формулировку своего постулата канадский нейропсихолог Дональд Хэбб опубликовал в 1949 году в научном труде «Организация поведения: нейрофизиологическая теория». В нем говорилось о возрастании силы синаптических связей в случае одновременной активизации нейрона по обе стороны синапса. При этом отмечалось, что увеличение веса межнейронных связей будет зависеть только от активности нейронов, которые образуют данный синапс. Позднее Правило Хэбба приобрело раздвоенность: были отдельно сформулированы правило для сигнала равного нулю и сигнала равного единице. Общая формула, описывающая Правило Хэбба, выглядит так: Δ Wij(k) = r xj(k)yi(k), гдеr – коэффициент быстроты обучения.
Правило «Дельта»
Чаще других применяется модифицированное Правило Хэбба в условиях обучения с учителем, которое получило название «Дельта». Оно основано на идее постоянного варьирования синаптических весов с целью уменьшения разности между значениями существующего и требуемого выходного сигнала нейрона. Таким образом минимизируется среднеквадратичная погрешность системы. Правило «Дельта» применимо только к неструктурированным множествам стартовых данных. При упорядоченном множестве обучающих показателей результат, выдаваемый системой, не достигает требуемой точности, и она считается неспособной к обучению. Δ Wij = xj(di - yi)
Правило градиентного спуска
Имеет схожесть с Правилом «Дельта» в рамках использования производной от передаточной функции с целью изменения погрешности применительно к синаптическим весам. Основная идея Правила градиентного спуска, или как его принято называть в разрезе обучения нейронных сетей метод обратного распространения ошибки, состоит в движении по направлению наискорейшего спуска, которое задается антиградиентом. Финальный весовой коэффициент изменения увеличивается на пропорциональную константу оценки обучения. Систему обучают по заранее известным исходным данным, а затем подают входные значения, сравнивают с полученным результатом. Процесс обучения при использовании Правила градиентного спуска стремится к точке сходимости довольно медленно, но из-за простоты реализации данное правило получило распространение.
Метод соревнования
Обучение методом соревнования взято из биологических нейронных сетей, где действует жесткая конкуренция. Это один из немногих методов, отличающихся по сути от Правила Хэбба и его производных. В процессе обучения выходные нейроны активируются не одновременно, а соревнуются за возможность активации, что позволяет произойти трансформации синаптических весов победителей и нейронов, расположенных в ближайшем окружении. Стартовые данные кластеризируются, т.е. система группирует аналогичные входные значения в соответствии с корреляцией и далее рассматривает их как единый элемент. Эффект от метода соревнования достигается, когда нейрон с максимальным выходным сигналом становится победителем и получает возможность активировать соседние нейроны и замедлять «конкурентов». Δ Wij(k+1) = Wij(k) + r [xj - Wij(k)] Доказано, что применение различных правил и методов обучения для разных слоев нейронной сети способствует процессу обучения.
Присоединяйтесь к каналу в Telegram - https://t.me/ita_lab
