Исследователи OpenAI утверждают, что постоянная проблема «галлюцинаций» у чат-ботов ИИ связана с методами обучения и оценки языковых моделей, а не с какими-то загадочными техническими недостатками. В исследовании, опубликованном 4 сентября, компания по разработке искусственного интеллекта объясняет, что современные системы оценки по сути учат модели блефовать, а не признавать свою неуверенность.
В работе, опубликованной совместно с партнёрами из Технологического института Джорджии, основная причина такой проблемы объясняется фундаментальным несоответствием критериев оценки: даже продвинутые модели, такие как GPT-5, продолжают делать уверенные, но неверные заявления. «Галлюцинации» появляются не из-за конструктивных ошибок, а из-за факторов обучения, при которых модели поощряются за догадки, а не за честное указание на свою неуверенность.openai
