🧠 За пределами внимания: как нейробиология вдохновляет новое поколение нейросетей

Парящий «облачный» мозг испускает струю воображения над микропроцессором, а увеличительное стекло фокусирует поток данных в сеть, символизируя предварительный мысленный отбор информации перед вниманием.

Когда в 2017 году появились первые модели на основе механизма внимания (attention), мир искусственного интеллекта изменился навсегда. Архитектура Transformer стала золотым стандартом в NLP и постепенно завоевала другие области машинного обучения. Но внимание — это лишь малая часть того, как человеческий мозг обрабатывает информацию. Недавняя работа исследователей из университетов Стерлинга и Оксфорда предлагает нечто гораздо большее — модели, способные имитировать высокоуровневое сознательное восприятие и даже воображение.

🧩 Откуда вдохновение?

Авторы статьи вдохновились исследованиями в области нейробиологии, а именно – устройством нейронов коры головного мозга человека. Ключевую роль здесь играют двухточечные пирамидальные нейроны (TPN), способные интегрировать две различные зоны входящих сигналов:

• 📥 Нижняя зона (RF) – входящие сигналы от органов чувств.
• 🌌 Верхняя зона (CF) – контекстная информация, которая приходит из других областей мозга и воспоминаний.

Когда эти два потока совпадают, нейрон «вспыхивает» мощным сигналом, эффективно выделяя важную информацию.

🚦Как это применить к искусственному интеллекту?

Исследователи предложили модель под названием Co4 (Cooperative Context-sensitive Cognitive Computation). Это не просто расширение механизма внимания, а совершенно новая парадигма:

• 🔄 Вместо обычного сравнения запросов (Q), ключей (K) и значений (V), модель формирует триадные циклы взаимного влияния, в которых Q, K и V непрерывно «общаются», уточняя и усиливая друг друга.
• 🌠 Модель переходит от простого «слежения за сходством» к глубокому, контекстному пониманию, формируя богатые, внутренне последовательные гипотезы ещё до того, как начнёт применяться внимание.

🌌 От внимания к воображению

Интересно, что модель способна имитировать не только быстрое «поверхностное» восприятие, но и медленные, глубокие процессы, аналогичные человеческому воображению. Авторы называют это «состояниями высокого уровня сознания».

• 🚀 В состоянии «быстрого мышления» модель способна быстро вычленять значимую информацию из общего шума.
• 🌙 В состоянии «медленного мышления» происходит глубокий перебор вариантов, уточнение гипотез и детализированное осознание контекста.

Это даёт возможность нейросети осознавать более тонкие, глубокие и неочевидные связи в данных.

⚙️ Как устроена новая модель?

Архитектура Co4 состоит из нескольких уникальных компонентов:

• 🔁 Модуляторная функция – математическое ядро, вдохновлённое биологией нейронов, которое усиливает или ослабляет сигналы в зависимости от их контекстуальной значимости.
• 🌐 Триадные циклы Q-K-V – каждый из элементов (вопросы, ключи, гипотезы) адаптируется друг к другу, что обеспечивает эффективную и быструю генерацию точных и контекстно-зависимых решений.
• 📉 Линейная сложность O(N) – модель экономит вычислительные ресурсы, значительно опережая традиционные трансформеры с квадратичной сложностью O(N²).

Таким образом, Co4 становится гораздо быстрее и эффективнее классических подходов.

🎯 Практическое превосходство

Исследователи провели ряд тестов на разных задачах, таких как:

• 🚗 Reinforcement learning – Co4 быстрее обучалась управлению машинкой и роботом, показывая стабильные результаты даже в условиях случайных перестановок данных.
• 🖼️ Компьютерное зрение (CIFAR-10) – Co4 достигла лучших результатов с меньшим количеством слоев и параметров, обойдя классический Transformer.
• 🗣️ Обработка естественного языка – на синтетическом наборе данных Facebook bAbI модель Co4 показала превосходство в точности и скорости обучения.

🌟 Личное мнение автора

На мой взгляд, модель Co4 — это не просто очередной технический прорыв, а шаг в направлении более глубокого понимания сознания. Традиционные модели внимания напоминают механическое сравнение фрагментов пазла, тогда как Co4 ведет себя больше как осмысленный исследователь, способный интуитивно «чувствовать» важность контекста.

Особенно вдохновляет идея перехода от поверхностного к глубокому мышлению, позволяющая нейросетям формировать не только быстрые ответы, но и продуманные, осмысленные решения. Думаю, подобные подходы могут стать ключом к созданию машин, обладающих чем-то похожим на здравый смысл и даже творческое воображение.

🚧 Что дальше?

Авторы работы подчеркивают, что это лишь начало пути. Дальнейшие исследования будут посвящены масштабированию этой архитектуры до больших моделей языка и сложных задач реального мира. В перспективе Co4 может приблизить нас к машинам, обладающим действительно высоким уровнем когнитивных способностей, приближая искусственный интеллект к человеческому пониманию реальности.

🔗 Оригинальная статья «Beyond Attention: Toward Machines with Intrinsic Higher Mental States» на arXiv

🔗 Дополнительная информация об архитектуре Transformer