За последние два десятилетия оптимизация прямой нейронной сети (ПНС)являлась ключевым интересом для исследователей и практикующих специалистов в различных дисциплинах.
Оптимизация ПНС часто рассматривается с различных точек зрения:
- веса,
- сетевой архитектуры,
- узлов активации,
- параметров обучения,
- учебной среды и т.д.
Еще в 1943 году была предложена вычислительная модель мозга, которая инициировала исследования в области искусственных нейронных сетей (ИНС). ИНС способные к обучению смогут решить широкий круг сложных проблем. Передача нейронных сигналов сети ПНС - это особый тип моделей ИНС. ПНС делает их привлекательными, потому что позволяет преобразовать вычислительную модель (функцию) в структурную (сетевую) форму. Кроме того, именно структура ПНС делает её универсальной.
Поэтому они решают широкий круг задач, таких как:
- распознавание образов,
- кластеризация и классификация,
- приближение функций,
- управление,
- биоинформатика,
- сигнализация,
- обработка речи и т.д.
Структура ПНС состоит из нескольких нейронов (процессоров), расположенных в слойной основе, и нейроны в каждом слое имеют связи с нейронами в его основе. По существу, оптимизация, обучение и подготовка ПНС достигается путем поиска соответствующей сетевой структуры и параметров функции.
Поиск подходящей сетевой структуры включает в себя определение:
- подходящих нейронов (т.е. активацию функций),
- количества нейронов,
- расположения нейронов и т.д.
Точно так же, нахождение весов указывает на оптимизацию вектора, представляющего веса ПНС. Поэтому обучение является одним из важнейших и важных аспектов деятельности ПНС. В прошлом уже предлагались многочисленные алгоритмы, методы и процедуры оптимизация. Ранее, в исследованиях ПНС, только градиентно-ориентированные методы оптимизации были наиболее популярным выбором. Однако постепенно из-за ограничений алгоритмов, основанных на градиентах, была признана необходимость применения метаэвристических методов оптимизации. Метаэвристика формулирует компоненты ПНС, такие как веса, структура, узлы и т.д., в проблему оптимизации. Метаэвристика реализует различные эвристики для нахождения практически оптимального решения. Кроме того, многоцелевой метаэвристический подход имеет дело с несколькими целями одновременно. Существование множества целей в оптимизации ПНС очевидно, поскольку минимизация погрешности аппроксимации желательна с одной стороны, а обобщение и упрощение модели - с другой.
Основные аспекты исследования оптимизации ПНС:
- Важность ПНС как аппроксиматора функций и его предварительных концепций.
- Включение факторов, влияющих на оптимизацию и введение их в традиционные алгоритмы оптимизации.
- Роль метаэвристики и гибридной метаэвристики в оптимизации.
- Роль многообъективной метаэвристики и ансамблевых методов.
- Текущие проблемы и будущие направления исследований.
Местная проблема оптимизации.
Алгоритмы обучения при использовании функции стоимости или любой аналогичной функции для ПНС имеют тенденцию к снижению локальных минимумов. Кроме того, геометрическая структура (пространство параметров) трёхслойного восприятия может опускаться до локальных минимумов во время его работы. Это указывает на то, что критическая точка соответствует глобальному минимуму меньшего размера. Модель ПНС со скрытыми узлами может быть локальной или узловой точкой более крупной ПНС модели со скрытыми блоками. Однако существуют некоторые способы избежать или устранить локальные минимумы в оптимизации ПНС:
1. Если весовые коэффициенты и схемы тренировок случайным образом распределены между трёхслойными ПНС, которые включают в себя нейроны на скрытом слое, то алгоритм градиентного спуска может избежать попадания в него местных минимумов.
2. Если взять линейно разделяемые данные обучения и пирамидальную структуру сети, то ошибка заключается в следующем: поверхность будет локальной и минимально свободной.
3. Если существует много неслучайных схем ввода, которые необходимо изучить, то используются сигмовидные скрытые нейроны.
4. Если алгоритмы обучения могут быть усовершенствованы таким же образом, как и в случае обучения по программе глобального происхождения, то можно избегать местных минимумов.
Эти четыре метода зависят от количества скрытых нейронов, количества тренировочных образцов, количество нейронов на выходе, и условия, которое гласит, что количество скрытых нейронов должно быть не меньше, чем количество тренировочных образцов. ПНС используются для решения широкого спектра реальных проблем, именно поэтому исследовано множество методик оптимизации и обобщения. В частности, метаэвристика позволяет внедрять инновационные и импровизированные методы оптимизации, которые, в свою очередь, решают свои локальные проблемы минимизации и обобщения. Итак, нам нужно импровизировать, адаптировать и построить гибридные методы оптимизации ПНС. Дальнейшие исследования позволят привнести новые парадигмы, применяя или вдохновляя их рассмотренными методами.
