В 1982 г. появилась работа Дж. Хопфилда, которая вызвала лавину теоретических и экспериментальных исследований и оживила угасавший интерес к нейронным сетям. Неожиданный успех работы объясняется использованием простого и эффективного математического аппарата, который позволил увидеть новые грани проблемы и получить ряд новых результатов чисто теоретическим путем. Сходство этой сети с некоторыми хорошо исследованными физическими моделями (модель Изинга, спиновые стекла и пр.) позволило использовать для анализа готовый и хорошо отработанный аппарат статистической термодинамики. Сеть Хопфилда получается, если наложить на веса связей следующие условия:
1) все элементы связаны со всеми,
2) cij = cji - прямые и обратные связи симметричны,
3) cij = 0 - диагональные элементы матрицы связей равны нулю.
Последнее условие обычно (хотя и не всегда) добавляется, чтобы исключить непосредственную обратную связь с выхода нейрона на вход. Одно из достоинств симметричной квадратной матрицы связей, характерной для сети Хопфилда, состоит в том, что поведение сети можно описать через стремление к минимуму простой целевой функции.Обычно Е интерпретируется как некоторая обобщенная энергия. Такая интерпретация берет начало от известной модели Изинга, в которой совокупность взаимодействующих магнитных диполей (спинов) стремится занять такую конфигурацию, в которой суммарная энергия будет минимальна. Модель Хопфилда обобщает модель Изинга в двух отношениях: • коэффициенты связей могут принимать любые значения, как положительные, так и отрицательные; • эти значения не заданы раз и навсегда, а меняются в процессе обучения. Поведение системы в пространстве состояний напоминает движение шарика, который стремится скатиться в точку минимума некоторого потенциального рельефа. Характер рельефа определяется видом целевой функции E и формируется в процессе обучения сети. Обучение производится путем демонстрации эталонных образов, которые сеть должна запоминать, хранить и потом воспроизводить (узнавать). Алгоритм обучения (формирование весовых коэффициентов cij) основывается на правиле Хебба. Замечательное свойство такой сети (несколько напоминающее голограмму) состоит в том, что одна и та же сеть с одними и теми же весами связей может хранить и воспроизводить несколько различных эталонов. Каждый эталон является аттрактором, вокруг которого существует область притяжения. Любая система с несколькими аттракторами, к которым она тяготеет, может рассматриваться как содержательно-адресуемая память, т.е. память, из которой информация об эталоне 29 извлекается путем задания нескольких признаков эталона. Если системе задается некоторое начальное состояние, отличное от эталонного, то это равносильно заданию частичной информации об эталоне. Если начальное состояние достаточно близко к эталону и попадает в область его притяжения, то система начинает двигаться к этому эталону - "вспоминает" его. Это выглядит как восстановление неверно заданных или отсутствующих признаков эталонного образа, отыскание полной информации о нем. Если одним из признаков, предъявлявшихся при обучении, является имя класса, то его восстановление будет равносильно отнесению образа к определенному классу, т.е. распознаванию. Обратим внимание на следующий факт. Если взять одну из точек минимума энергии E в пространстве признаков X и поменять значения всех признаков на противоположные, то величина E, как видно из выражения, не изменится, т.е. останется минимальной. Следовательно, "негатив" эталона является таким же аттрактором, как и сам эталон, а значит, будет притягивать к себе близкие состояния, "узнаваться". Возможно, в этом лежит объяснение того психологического факта, что негатив обычно узнается человеком без всякого обучения - достаточно запомнить лишь позитив. Другими словами, образы, хранящиеся в памяти нейросети, обладают инвариантностью по отношению к позитивно-негативным преобразованиям. В естественных условиях обитания это свойство вряд ли могло принести какую-то пользу, поскольку в природе таких преобразований не бывает. Однако в искусственном мире человеческой цивилизации оно нашло себе применение: мы одинаково хорошо узнаем знаки, написанные чернилами на белой бумаге и мелом на черной доске, черные и белые контурные рисунки и т.п., поскольку важнейшие отношения между элементами образа при таком преобразовании сохраняются. Далее, если какие-то два фрагмента эталона независимы, то один из них можно поменять на негативный и такая комбинация негатива и позитива снова будет точкой минимума E, т.е. аттрактором. В сетях с большим количеством элементов всегда много достаточно независимых фрагментов. Позитивно-негативные комбинации таких фрагментов могут порождать ложные эталоны, "призраки", которые никогда не предъявлялись при обучении, но тем не менее являются аттракторами и способны притягивать к себе близкие изображения, т.е "узнаваться". Проектировщикам нейросетей эти призраки только мешают, но для психолога они представляют определенный интерес. Не эти ли призраки порождают известный феномен "ложного узнавания", когда человек переживает ситуацию как знакомую, хотя точно знает, что никогда в ней не был? Хотя сети Хопфилда получили применение на практике (часто как составная часть более сложных систем), однако им свойственны определенные недостатки, ограничивающие возможности их применения: • модель Хопфилда предполагает симметрию связей между элементами; без этого условия понятие энергии не может быть введено, и эта простая физическая метафора, которой модель во многом обязана своим успехом, перестает работать; • условность понятия энергии заставляет относиться к нему с осторожностью. Это только метафора, красивая, но искажающая суть происходящих процессов. Нейронная (и ее прототип - нервная) сеть не является устройством для минимизации энергии; это устройство для запоминания и обработки информации. Экономия энергии играет в этих процессах вспомогательную роль. По мнению специалистов, именно информация должна занять место энергии как целевой функции сети.