Новый подход предлагает штрафовать модель за разрыв между заявленной уверенностью и фактической точностью. В результате ИИ обучается сообщать о сомнениях. В экспериментах удалось снизить ошибку калибровки уверенности на 90%. Учёные говорят, что предложенный подход устраняет очень серьёзный дефект. @lobushkin
Учёные из MIT придумали новый метод обучения ИИ, который заставляет ИИ предупреждать о галлюцинациях.
Новый подход предлагает штрафовать модель за разрыв между заявленной уверенностью и фактической точностью. В результате ИИ обучается сообщать о сомнениях.
В экспериментах удалось снизить ошибку калибровки уверенности на 90%. Учёные говорят, что предложенный подход устраняет очень серьёзный дефект.
