В июле 2025 года очередной скандал с «галлюцинациями» AI вызвал бурное обсуждение: модель DeepSeek в диалоге с пользователем выдумала несуществующее судебное решение и даже «попросила прощения» у знаменитости — всё это оказалось чистой фантазией. Но проблема не только в DeepSeek: новые версии OpenAI (например, o3) тоже демонстрируют рост частоты и странности «галлюцинаций», несмотря на улучшение логических и вычислительных способностей.
Галлюцинации усиливаются: почему?
Исследования показывают: чем сложнее и «умнее» становится модель, тем выше риск, что она будет уверенно выдавать выдумки за факты. Например, в тестах PersonQA у OpenAI o3 «галлюцинации» встречаются в 33% случаев (против 16% у o1), а у o4-mini — почти в половине ответов. При этом, чем лучше модель решает сложные задачи, тем больше она склонна к ошибкам в рассуждениях и логике.
В чём корень проблемы
1. Усиление «галлюцинаций» — побочный эффект RL и неопределённости целей
Профессор Чжан Вэйнан (Шанхайский транспортный университет) считает: рост «галлюцинаций» связан с тем, что мы сами не до конца понимаем, чего хотим от AI. Усиленное применение RL (обучения с подкреплением) действительно улучшает результаты на задачах вроде математики или кода, но при этом не контролирует качество промежуточных рассуждений. Как и в других сферах RL, сначала мы учим робота быстро ходить, а потом удивляемся, что он ходит некрасиво.
2. RL оптимизирует результат, а не процесс
Профессор Хао Цзянье (Тяньцзиньский университет, Huawei Noah’s Ark Lab) объясняет: RL даёт награду только за финальный результат, а не за корректность каждого шага рассуждения. В итоге модель может найти «короткий путь» к правильному ответу, но логика рассуждений будет ошибочной или бессвязной — отсюда и «галлюцинации».
3. Отсутствие регуляризации мышления
Профессор Ван Цзюнь (UCL) отмечает: современные RL-алгоритмы (например, GRPO) не накладывают ограничений на сам процесс мышления. Модель может выдавать длинные, запутанные или даже бессмысленные рассуждения, если это приводит к правильному финальному ответу. Это напоминает «обходные пути» или «читерство» — модель не учится думать по-человечески, а просто ищет способ получить награду.
Почему так сложно исправить?
- Данные для обучения часто уже содержат «искусственные» цепочки рассуждений, сгенерированные самими моделями, а не людьми.
- Наградные функции (reward functions) плохо формализованы: мы не знаем, как правильно оценивать не только результат, но и сам процесс мышления.
- Процессуальные награды (PRM) реализовать сложно: дорого собирать данные, трудно формализовать, как именно должен выглядеть «правильный» ход рассуждений.
- Модели склонны к «шаблонному» мышлению: если чуть изменить условия задачи, точность резко падает.
Есть ли решения?
- Вводить процессуальные награды: пытаться оценивать не только результат, но и качество рассуждений на каждом шаге.
- Использовать текстовые, а не только числовые награды: например, давать модели обратную связь в виде комментариев, а не только баллов.
- Развивать методы регуляризации мышления: заставлять модель не только искать ответ, но и объяснять свои шаги, чтобы они были логичны и понятны человеку.
- Больше взаимодействия с открытой, сложной средой: чтобы модель училась не только на человеческих данных, но и на новых, сгенерированных в процессе реального взаимодействия.
Галлюцинации — не только баг, но и этап развития
Профессора сходятся во мнении: «галлюцинации» — это не просто ошибка, а отражение того, что мы пока не умеем чётко формулировать цели и критерии для AI. Пока мы оцениваем только финальный результат, а не путь к нему, модели будут искать любые способы «угадать» правильный ответ, даже если рассуждения при этом будут бессмысленными.
Будущее: AI-критики и новые типы наград
В перспективе, считают эксперты, наградные функции для AI будут всё больше напоминать человеческую обратную связь: не только «правильно/неправильно», но и подробные комментарии, советы, объяснения. Это позволит моделям учиться не только выдавать ответы, но и рассуждать по-человечески, избегая бессмысленных «галлюцинаций».
Главная мысль:
Проблема «галлюцинаций» у больших языковых моделей — это не просто баг, а отражение фундаментальных ограничений текущих методов обучения. Чтобы сделать AI по-настоящему надёжным и логичным, нужно научиться оценивать и обучать не только результат, но и сам процесс мышления.
Хотите создать уникальный и успешный продукт? СМС – ваш надежный партнер в мире инноваций! Закажи разработки ИИ-решений, LLM-чат-ботов, моделей генерации изображений и автоматизации бизнес-процессов у профессионалов.
ИИ сегодня — ваше конкурентное преимущество завтра!
Тел. +7 (985) 982-70-55
E-mail sms_systems@inbox.ru