Просто о рекуррентных нейронных сетях

Прекрасный научно-просветительский канал «Зоопарк Каа» (@kaa_zoo) передал мне эстафету по поводу объяснения работы нейронных сетей глубокого обучения для распознавания зрительных образов. А всё дело в том, что в прошедшую пятницу 28 сентября на канале опубликована заметка о том, что некая группа учёных при помощи включения в модель нейронной сети обратных связей от более глубоких слоёв к менее глубоким научили такие нейросети воспринимать и «ощущать» зрительные иллюзии примерно так, как это делает человек.

Видит ли искусственная нейронная сеть чёрные точки в пересечениях белых линий?

Сложно сказать, насколько эта новость корректна. Оптические иллюзии — это вопрос восприятия и субъективного осознания, а потому доподлинно сказать относительно того, что там искусственная нейронная сеть себе «осознала» невозможно. Поэтому иллюзии нейронная сеть, даже пусть и с обратными связями между нейронами, вряд ли испытывает. Но вот реагировать на картинки, на которых типовое человеческое сознание «видит» иллюзии, такие нейронные сети можно научить специфическим образом, и для этого даже не нужны обратные связи.

Но давайте я расскажу про модели с обратными связями. Модели искусственных нейронов с обратными связями существуют уже много десятилетий. Простая рекуррентная нейронная сеть — это нейросеть со связями от более глубоких слоёв к менее глубоким, и тут есть только один нюанс — сигнал по такой связи должен приходить с задержкой, а не в тот же такт, что и сигналы со входов нейронов. Обычно задержка составляет один такт, но бывают и варианты, когда используется и несколько тактов. Самое главное свойство, которое показывают нейронные сети с обратными (мы их называем рекуррентными) — это наличие некоторого рода памяти.

Каскад LSTM-нейроном для организации памяти в искусственной нейронной сети

В процессе исследований рекуррентных нейронных сетей стало ясно, что с обычными искусственными нейронами (модель Мак-Каллока и Питтса) они работают не совсем эффективно — обычные нейроны с течением времени как будто бы «размываются», теряют своё обучение. Это не позволяет эффективно использовать обычные нейроны в рекуррентных нейронных сетях для задач классификации и, главное, прогнозирования временных рядов. И тогда появилась идея по разработки новых типов искусственных нейронов. Наиболее известными в этом ряду являются:

1) Простой рекуррентный нейрон
2) LSTM-нейрон
3) GRU-нейрон

Все искусственные нейроны — это упрощение. Естественные нейроны очень сложные и работают на нескольких принципах одновременно.

Как вы помните, в субботу я вам показывал схему LSTM-нейрона. Через пару дней я напишу о нём расширенную заметку. Следите за эфиром.