OpenAI только что опубликовала новую статью, в которой утверждается, что системы ИИ подвержены галлюцинациям, поскольку стандартные методы обучения поощряют уверенные догадки, а не признание неопределенности, что потенциально открывает путь к решению проблем качества ИИ.
Подробности:
- Исследователи обнаружили, что модели выдумывают факты, поскольку результаты обучающего теста дают полные баллы за удачные догадки, но ноль за ответ «Я не знаю».
- В статье показано, что это создает конфликт: модели, обученные максимизировать точность, учатся всегда угадывать, даже если совершенно не уверены в ответах.
- OAI проверила эту теорию, задавая моделям конкретные дни рождения и названия диссертаций, и обнаружила, что каждый раз они уверенно давали разные неверные ответы.
- Исследователи предложили пересмотреть метрики оценки, чтобы явно наказывать за ошибки, связанные с уверенностью, сильнее, чем за ошибки, связанные с неуверенностью.
Почему это важно:
Это исследование потенциально делает проблему галлюцинаций более эффективной для решения с помощью обучения. Если лаборатории ИИ начнут поощрять честность, а не удачные догадки, мы могли бы увидеть модели, знающие свои пределы — жертвуя некоторыми показателями производительности ради надёжности, которая действительно важна при выполнении критически важных задач системами.
Подписывайтесь на канал и читайте еще больше статей.
Мир инсайтов AI" - это канал, который открывает двери в мир искусственного интеллекта и предоставляет свежие новости, аналитику и экспертные мнения о последних событиях в этой быстро развивающейся области.
#МирИнсайтовAI #OpenAI #ИИ #ГаллюцинацииИИ #ОбучениеМоделей #НадежностьИИ #КачествоИИ #Исследования #ЭтикаИИ #МашинноеОбучение