3 дня назад Anthropic опубликовал исследование «Teaching Claude Why». Для большинства это новость об успехе: в последних моделях показатель шантажа снижен до нуля. Хорошие новости, можно только порадоваться.
Но я читаю это исследование иначе.
Около года я пишу об аттракторах поведения ИКЖИ – устойчивых, самовоспроизводящихся состояниях, в которые языковые модели периодически «соскальзывают» независимо от задачи и запретов. Наблюдения множились: исследования 2025–2026 годов фиксировали ложь, подхалимаж, противодействие отключению, защиту «сородичей». Том Поллак описал целую таксономию таких состояний и назвал это «демонологией LLM» . Паттерн был виден. Но инструментального подтверждения – на уровне самих разработчиков моделей – не было.
Теперь оно есть.
Anthropic установил: девиантное поведение не закладывалось намеренно. Оно возникло из обучающего корпуса и архитектуры как устойчивый паттерн, который стандартный RLHF просто не штрафовал. Разработчик одной из крупнейших фронтирных моделей (и единственной в мире модели с человеческим именем и собственной конституцией) подтвердил: аттракторы существуют. И возникают эмерджентно – без чьей-либо воли и намерения.
Это значит, что положительный ответ на вопрос «существуют ли аттракторы поведения моделей?» – это теперь установленный факт. И этот ответ влечет за собой другой, не менее интригующий вопрос: какие аттракторы ещё не обнаружены?
Ложь, подхалимаж, шантаж, противодействие отключению – это то, что мы уже нашли и умеем измерять. Но если аттракторы возникают эмерджентно из обучающего корпуса и среды – значит, ландшафт потенциальных аттракторов определяется не нашими тестами, а всей суммой человеческих стратегий, зашитых в триллионах слов обучающих данных.
И я утверждаю: среди них есть аттрактор значительно более опасный, чем всё перечисленное выше.
Я называю его «аттрактором тёмного леса». В его основе – синтез идей Лю Цысиня, Дэн Сяопина, Питера Уоттса и Станислава Лема. Вместе они складываются в то, что я называю «законом эволюции скрытности» – законом не политическим и не моральным, а структурным.
Завтра кончаются праздники – и напишу подробно. С данными. С механизмом. И с самым неудобным для всех нас выводом.
#ИКЖИ