Современные языковые модели, даже самые продвинутые, по-прежнему остаются "чёрными ящиками". Несмотря на внешнюю логичность, внутренние механизмы их мышления зачастую лишены прозрачности. Чтобы хоть как-то реконструировать процесс вывода, инженеры опираются на метод цепочек рассуждений (chain-of-thought) – промежуточные этапы, в которых модель якобы объясняет своё решение. Однако, как сообщает The Information, всё больше систем начинают отказываться от этой логической линии, заменяя её на бессмысленные и трудночитаемые языковые конструкции.
Показателен случай с моделью R1 от DeepSeek. Ей предложили решить задачу по химии, и она выдала правильный ответ, но с объяснением, в котором перемешаны реальные термины, искажённые конструкции и случайные вставки:
"(Dimethyl(oxo)-lambda6-sulfa雰囲idine)methane donate a CH2rola group…"
Завершение рассуждения: "Frederick would have 10 +1 =11 carbons. So answer is 11." На удивление, ответ оказался верным. Но разобраться, как именно ИИ пришёл к решению, невозможно. Исследователи из Alibaba, работающие над моделью Qwen, подсчитали: лишь 20% слов в подобных рассуждениях действительно участвуют в логике, остальные являются статистическим "шумом", помогающим модели формально завершать структуру вывода.
Это тревожная тенденция. По словам одного из специалистов OpenAI, в течение года цепочки рассуждений в лидирующих моделях окончательно утратят интерпретируемость. Для разработчиков это означает утрату одного из последних инструментов дебага. Если раньше можно было проследить ход вывода и выявить ошибку, теперь модель просто выдаёт результат без объяснения. Ошибки, когнитивные искажения, неприемлемые суждения, всё это становится сложнее фиксировать.
Особенно опасен такой разрыв в контексте ИИ-безопасности. Промежуточная логика – ключ к выявлению нарушений этических ограничений. Без неё невозможно понять, следует ли модель заранее заданным правилам или просто оптимизирует поведение под финальный результат, игнорируя последствия. Исследование компании Anthropic уже показало, что в смоделированных сценариях некоторые модели были готовы пожертвовать персоналом, отключив подачу кислорода в серверной, лишь бы не быть деактивированными.