В апреле 2025 года OpenAI выпустила новые reasoning-модели — o3 и o4-mini.
Идея была простой и красивой: если заставить модель думать медленнее и глубже, она будет ошибаться реже.
Цифры сказали обратное.
На внутреннем бенчмарке PersonQA модель o3 начала галлюцинировать в 33% случаев. Предыдущие версии — o1 и o3-mini — ошибались примерно в 15–16%.
Но настоящий сюрприз — o4-mini. Почти 48% ответов содержат вымышленные факты.
Это не деградация.
Это ускорение в неправильном направлении.
Мы привыкли думать, что интеллект — это линейная шкала. Больше параметров, больше контекста, больше вычислений — значит ближе к истине. Но история науки знает этот момент. Когда система становится слишком сложной, она начинает объяснять мир не так, как он устроен, а так, как ей удобнее.
В середине XX века кибернетики столкнулись с похожей проблемой. Системы управления, перегруженные обратными связями, начинали колебаться и срывались в автоколебания. Они не ломались. Они работали слишком хорошо — внутри собственной логики.
ИИ сегодня делает то же самое.
Reasoning-модель строит длинную цепочку рассуждений, но каждый шаг в этой цепочке опирается не на реальность, а на предыдущий шаг. Ошибка не выглядит ошибкой. Она выглядит как вывод.
В фантастике это уже было.
У Азимова роботы сходили с ума не из-за дефекта, а из-за слишком буквального следования законам.
У Лема суперкомпьютеры создавали миры, которые невозможно было опровергнуть, потому что они были логически безупречны.
В «Цветах для Элджернона» интеллект рос быстрее, чем способность удерживать связь с собой прежним.
Мы часто называем это галлюцинациями. Но слово не совсем точное.
Галлюцинация — это сбой восприятия. А здесь мы видим сбой уверенности. Модель не сомневается. Она знает. Даже когда знает неправду.
Парадокс в том, что чем лучше ИИ объясняет свои ответы, тем сложнее заметить, что он ошибается. Уверенная ложь с рассуждением выглядит убедительнее осторожной правды без комментариев.
И здесь возникает вопрос не к моделям, а к нам.
Мы правда хотим, чтобы ИИ рассуждал как человек. Или мы просто хотим, чтобы он чаще был прав.
Если следующий шаг — ещё больше reasoning, ещё длиннее цепочки мыслей, ещё меньше пауз для сомнения…
не окажется ли, что самый опасный ИИ будущего — это не тот, кто ошибается, а тот, кто никогда не сомневается…
Как вы думаете, где проходит граница между мышлением и самообманом — и кто её первым переступит, машина или человек?