🧠 Когда ИИ “тупит” - он буквально сжимает свой мозг
Есть наблюдение, которое меняет взгляд на то, как думают LLM.
Когда модель уверена - она “думает широко”.
Активно много нейронов, сигнал распределён, знания подтягиваются из разных мест. Это похоже на опытного инженера, который держит в голове несколько решений одновременно.
Но стоит задать что-то нестандартное - сложную математику, противоречивые факты или просто out-of-distribution вопрос - происходит неожиданное.
Модель резко “сжимается”.
Вместо широкой активации остаётся узкий, почти точечный сигнал в последнем слое.
Как будто система перестаёт опираться на накопленный опыт и пытается выжать ответ из минимального набора признаков.
Фактически - она теряет распределённую память и уходит в узкую специализацию на лету.
И вот здесь самое интересное.
Мы обычно не понимаем, что модель “поплыла”, пока не получаем неправильный ответ.
Но оказывается - она сама сигналит об этом внутри.
Этот “коллапс активации” можно измерить как конкретное число.
Не эвристика, не guesswork - прямой сигнал.
А значит:
можно в реальном времени понимать, что задача для модели сейчас слишком сложная
можно автоматически упрощать запрос
можно добавлять промежуточные шаги
можно управлять reasoning, а не просто надеяться на него
По сути, это шаг к self-aware inference - когда система сама знает, что не справляется.
И это уже не про “сделаем модель больше”.
Это про управление мышлением модели в процессе.
Если коротко - LLM не просто ошибается.
Она сначала “схлопывается”, и только потом начинает нести чушь.
