Галлюцинации ИИ не лечатся: OpenAI признала — обман встроен в саму математику
OpenAI представила новое исследование на arXiv, которое разрушает надежды на полное избавление ИИ от так называемых «галлюцинаций» — убедительных, но ложных ответов. Авторы работы математически доказали: даже если обучать большие языковые модели (LLM) на идеальных, безошибочных данных и использовать самые передовые инженерные методы, вероятность ошибок остаётся ненулевой. Причина — в самой статистической природе моделей.
Учёные объясняют: в ситуации неопределённости большие модели действуют, как студенты на экзамене с трудным вопросом — пытаются «догадаться», выдавая правдоподобную, но неверную информацию, вместо того чтобы признать, что не знают ответа. Это фундаментальное свойство вероятностных систем: им некуда «сложить руки», когда данных недостаточно.
Авторы выделили три математических фактора, из-за которых галлюцинации неустранимы:
• когнитивная неопределённость — когда в данных просто нет всей необходимой информации;
• ограничения самой модели — даже идеальные алгоритмы не охватывают бесконечное количество возможных фактов;
• вычислительная сложность — даже при бесконечных ресурсах поиск идеального ответа не всегда возможен.
В ходе работы исследователи протестировали не только собственные модели GPT, но и конкурентов: DeepSeek-V3, Meta AI и Claude 3.7 Sonnet. Все они демонстрируют эффект в той или иной степени. Даже у последнего поколения GPT-5 галлюцинации встречаются, пусть и реже, чем у предыдущих версий. Парадокс: чем сложнее модели рассуждения, тем чаще они склонны «сочинять». Например, GPT-o1 выдаёт выдумки примерно в 16% случаев, тогда как более продвинутые o3 и o4-mini — уже в 33% и 48% соответственно.
Исследование не только фиксирует проблему, но и показывает её фундаментальную природу: галлюцинации — не баг, а неустранимое следствие вероятностного подхода к обучению ИИ.
#AI #OpenAI #Галлюцинации
