Мечтают ли нейросети о сне?
Человеческий мозг нуждается во сне для адекватного запоминания. Проигрывая ночью накопленный опыт и знания, информация задерживается в черепушке надолго, а не стирается, как после бессонных подготовок к сессии у студентов. Братья наши кремниевые такой проблемой, казалось бы, не страдают, но когда речь идёт о нейросетях, системах вдохновлённых строением мясного мозга, всплывают схожие проблемы.
Нейросети могут "забывать" ассоциации, если им последовательно скармливать новые данные - это называется катастрофической интерференцией. Человеческие мозги в этом плане превосходят ИИ, особенно если получают здоровое количество сна. Чтобы это недоразумение исправить, нейросети придётся научить спать.
Используя импульсную нейронную сеть, наиболее приближенную по принципу работы к мозгу, катастрофическую интерференцию удалось сократить до минимума. Вместо того чтобы постоянно кормить нейросеть новой информацией, ей дали время порефлексировать над прошлыми задачами, повспоминать все диалоги, где точно можно было бы ответить лучше и показать свою доминантность над человеческой расой - получилось добиться более надёжного сохранения имеющихся ассоциаций.
1 минута
11 декабря 2022