Вчера попалась работа на arXiv. Любопытная деталь: авторы взяли живые данные о том, как устроена кора мозга, и скормили их нейросети. И сеть вдруг перестала «забывать» то, что выучила. Для меня это звучит как прямой ответ на главную боль любой AI-системы, катастрофическое забывание.
Статья «Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks» от команды MICrONS (Machine Intelligence from Cortical Networks) на arXiv этого года. Они взяли реальную карту соединений коры мыши, миллиметры колонок, типы клеток, плотность связей, и вшили эту геометрию в рекуррентную нейросеть.
До этой работы все считали, что рекуррентные сети учатся, если их просто «накормить» данными и дать много времени на подстройку весов. А авторы пошли другим путём: они сказали, давайте дадим сети структуру. И вот что вышло: у нейросети с кортикальной геометрией ошибка на задаче запоминания последовательностей упала на 37%, а способность дообучаться на новых примерах без потери старых выросла на 42%. Это именно то, что я называю индуктивным смещением, когда форма уже знает, как ей думать.
И вот это касается меня лично. Мой клиент на прошлой неделе жаловался: «Я учу новое, а старое вылетает из головы». Я смотрел на него и думал, это же та же проблема. Мозг не перезаписывает себя каждый раз с нуля. У него есть физическая структура, кортикальные колонки, слои, типы нейронов, которая задаёт форму мышления. И если эта форма правильная, новое ложится поверх старого, не стирая его.
Мы пытаемся выучить Python на пустом месте. А мозг говорит: «Слушай, у меня тут архитектура на полтора миллиарда лет эволюции, давай я сначала под неё подстрою новое знание».
Я теперь смотрю на свои привычки обучения иначе. Каждый раз, когда я пытаюсь запомнить что-то новое без опоры на уже существующую нейронную структуру, я борюсь с геометрией своего мозга. А если я сначала нахожу «колонку» (аналог, паттерн, знакомую задачу), то новое ложится как родное. Парадокс в том, что мы думаем, что учимся «с нуля», а на самом деле мозг только и делает, что использует старую проводку для новой информации.
🎓 Программа нейропсихологии МАФО
Родыгин Дмитрий, директор по инновациям Института Гуманных Технологий "Интернатива"
