Российские исследователи из МФТИ представили новую архитектуру искусственного интеллекта, способную сохранять информацию в сотни тысяч раз дольше, чем классические нейронные сети. Разработка решает одну из главных проблем машинного обучения — катастрофическое забывание — и приближает создание автономных систем, которые смогут непрерывно учиться в реальном мире. Работа опубликована в The European Physical Journal Special Topics.
Как мозг сохраняет память — и как это перенесли в ИИ
Команда опиралась на механизмы, лежащие в основе работы биологического мозга. Ведущий научный сотрудник лаборатории нейробиоморфных технологий МФТИ Сергей Лобов объясняет: мозг удерживает знания благодаря постоянной перестройке нейронных связей, или ревайрингу. Именно так хрупкая кратковременная память превращается в устойчивые долгосрочные следы.
Исследователи перенесли этот принцип в спайковую нейронную сеть (SNN) — тип искусственного интеллекта, в котором взаимодействие нейронов имитирует работу реальных нейронов. К механизму временной пластичности STDP, усиливающему или ослабляющему связи в зависимости от последовательности импульсов, добавили новый механизм — динамическую перестройку связей.
Самоорганизованная консолидация памяти
Процесс работает в два этапа:
- Фаза обучения — сеть получает внешний сигнал, и между нейронами формируются кратковременные следы памяти.
- Фаза автономной активности — стимул исчезает, и сеть начинает «перепрошивать» свою структуру: ревайринг превращает кратковременный след в устойчивую архитектурную перестройку.
Исследователи называют это самоорганизованной консолидацией памяти — аналогом того, как мозг закрепляет воспоминания, пока человек отдыхает или спит.
Память, которая держится в 170 000 раз дольше
Эксперименты показали, что новая сеть обладает колоссальной устойчивостью к забыванию.
- Обычная модель теряла информацию приблизительно через 1000 спонтанных всплесков активности.
- Сеть с ревайрингом сохраняла её до 170 миллионов всплесков.
Таким образом, память стала стабильнее примерно в 170 000 раз — рекордный результат для искусственных систем.
Хабовые нейроны и возможные «энграммы» ИИ
Учёные также обнаружили появление так называемых хабовых нейронов — узлов, способных запускать масштабные вспышки активности сотен других нейронов. В традиционных сетях их количество после обучения быстро снижалось, но в сетях с ревайрингом — наоборот росло.
Исследователи предполагают, что такие нейроны могут быть аналогами энграммных клеток — биологических структур, формирующих «каркас» долговременной памяти.
Новый путь к автономным ИИ-системам
Пока архитектура реализована как программная модель, но следующий шаг — нейроморфные процессоры, способные воплотить этот принцип в «железе». Такие системы смогут:
- непрерывно учиться на данных из окружающей среды;
- адаптироваться без потери старых навыков;
- работать автономно в задачах робототехники, беспилотного транспорта и исследовательских платформ.
Разработка открывает путь к ИИ, который будет учиться так же надёжно и долговременно, как биологические организмы.
Источник: https://industry-hunter.com/pamat-iskusstvennogo-intellekta-udalos-uvelicit-v-sotni-tysac-raz
Больше интересного – на медиапортале https://www.cta.ru/