137 подписчиков

🧠 Attention Residuals: Kimi переизобрела способ передачи информации между слоями нейросетей

25 марта25 мар

1 мин

16 марта 2026 команда Kimi Team (Moonshot AI) опубликовала исследование "Attention Residuals". Главное открытие: residual connections — фундамент всех LLM с 2015 года — можно сделать умнее, заменив слепое сложение на селективное внимание. 📍 Проблема, которую игнорировали Все современные LLM (GPT, Claude, Gemini) используют residual connections — механизм передачи информации между слоями нейросети. Изобретён в 2015 году, с тех пор не менялся. Как это работает сейчас: каждый слой просто складывает свой результат с результатами всех предыдущих слоёв. Звучит логично, но есть проблема. В глубоких сетях (100+ слоёв) к концу сети информация от первых слоёв "разбавляется" — теряется в куче промежуточных результатов. Это называется PreNorm dilution. Результат: ранние важные детали не доходят до финальных слоёв, где принимаются решения. ⚡️ Attention вместо сложения: как Kimi это изменила Kimi заменила слепое сложение на механизм внимания (attention) — тот же принцип, который используется вн

📍 Проблема, которую игнорировали

Все современные LLM (GPT, Claude, Gemini) используют residual connections — механизм передачи информации между слоями нейросети. Изобретён в 2015 году, с тех пор не менялся.

Как это работает сейчас: каждый слой просто складывает свой результат с результатами всех предыдущих слоёв. Звучит логично, но есть проблема.

В глубоких сетях (100+ слоёв) к концу сети информация от первых слоёв "разбавляется" — теряется в куче промежуточных результатов. Это называется PreNorm dilution. Результат: ранние важные детали не доходят до финальных слоёв, где принимаются решения.

⚡️ Attention вместо сложения: как Kimi это изменила

Kimi заменила слепое сложение на механизм внимания (attention) — тот же принцип, который используется внутри трансформеров.

Теперь каждый слой не складывает всё подряд, а:

- Смотрит на все предыдущие слои

- Решает, какие из них важны для текущей задачи

- Забирает информацию только оттуда

Аналогия: вместо "запиши все мысли в один блокнот и листай всё подряд" теперь "храни заметки в папках и открывай нужную, когда она понадобится".

📊 Результаты

Модель с Attention Residuals (48B параметров) превзошла baseline на сложных задачах: многошаговые рассуждения (+7.5 пунктов на GPQA-Diamond), генерация кода (+3.1 на HumanEval), общие знания (+1.1 на MMLU).

При том же качестве AttnRes требует на 25% меньше вычислений — это существенная экономия для обучения больших моделей.

💡 Практический смысл

Это drop-in replacement — можно взять любую существующую архитектуру и заменить residuals на AttnRes без переделки остального кода.

Kimi доказала: даже базовые механизмы, которые 10 лет считались "стандартом индустрии", можно улучшить. Не всегда нужны новые архитектуры — иногда достаточно переосмыслить старые.

🚀 Попробуйте современные LLM в AI Wiz 2.0

Новая версия платформы — доступ из дашборда.

#AIWiz #Kimi #AttentionResiduals #LLM #DeepLearning

Гаджеты и электроника

5,73 млн интересуются