ИИ: деньги vs честные ответы
Большие языковые модели (LLM), такие как ChatGPT, нередко выдают ложные сведения — "галлюцинации", что связано с особенностями их обучения и оценки.
Модели учатся предсказывать наиболее вероятное следующее слово, даже если точного ответа на вопрос не существует. При этом их оценивают по стандартным тестам‑бенчмаркам, которые поощряют уверенные ответы и не поощряют признание в стиле: "я не знаю".
В результате модели склонны "придумывать" факты.
Исследователи из OpenAI и Технологического института Джорджии доказали: даже при идеальных обучающих данных модель неизбежно ошибается. Некоторые вопросы не имеют однозначного ответа. Математически доказано, что частота ошибок при генерации текста как минимум вдвое выше, чем при простой классификации фактов.
Учёные предлагают изменить систему оценки: "штрафовать" за ложные догадки строже, чем за отсутствие ответа, и поощрять признание неопределённости.
Однако возникает бизнес‑дилемма: если ИИ начнёт часто отвечать "не знаю", пользователи перейдут к более "уверенным" конкурентам. Учитывая, что лишь 5 % пользователей OpenAI платят за подписку, такое изменение способно подорвать коммерческий успех продукта.
Компании перед выбором: оставить систему как есть = сохранить проблему недостоверных ответов; исправить "галлюцинации" = рисковать потерей аудитории, которая ценит в ИИ именно способность всегда давать ответ.
Именно коммерческие интересы могут стать главным препятствием на пути к созданию более честных и точных ИИ-систем.
А вот теперь представьте: человек, привыкший пользоваться условным ChatGPT, получает ответ "не знаю" — и у него случается гипертонический криз, ы.
Источник: Science
👍 Капиталистический Ватник. Подписаться
