Исследователи Массачусетского технологического института предложили новый метод обучения моделей — обучение с подкреплением с учётом калибровки уверенности.
Смысл простой: модель должна не только давать ответ, но и правильно оценивать, насколько она уверена.
Почему это вообще проблема
Современные системы искусственного интеллекта устроены так, что:
- получают награду за правильный ответ,
- получают штраф за неправильный,
- но не получают ничего за честное «я не знаю».
В итоге модель ведёт себя как студент на экзамене:
главное - не молчать, хоть что‑то сказать, лишь бы выглядело уверенно.
Это и есть источник «галлюцинаций»: уверенных, но неверных ответов.
Что предлагает новый метод
В обучение добавляют показатель, который штрафует модель за несоответствие между заявленной уверенностью и реальной точностью.
То есть модель учится:
- не быть уверенно неправой,
- и не быть излишне неуверенной, когда она права.
Результат впечатляющий:
ошибка калибровки снижается почти на 90%, при этом точность не падает.
Но есть более глубокая проблема
Сегодняшние модели не умеют молчать.
Даже если попросить: «Отвечай развернуто только если уверена», они всё равно будут:
- выдумывать,
- уходить в общие слова,
- или говорить что‑то «по смыслу», лишь бы не остановиться.
Это следствие самой цели обучения: модель оптимизирует правдоподобие текста, а не честность в оценке собственных знаний.
Почему это важно для реальных систем
В медицине, финансах, праве и промышленности опасны не ошибки сами по себе, а уверенные ошибки.
Нам нужны системы, которые умеют сказать: «Я не уверена, нужно проверить».
Новый подход Массачусетского технологического института шаг к тому, чтобы сделать искусственный интеллект не только сильным, но и ответственным.
Подписывайтесь на наше сообщество в VK и канал в Telegram — публикуем аналитику и прикладные материалы по ИИ.