Алексей Митрофанов, студент Курганского государственного университета, решил выяснить причины некорректного поведения популярной нейронной сети ChatGPT-4. Свои выводы в ближайшем будущем он планирует представить на студенческой научной конференции.
«Галлюцинации ИИ»
«Галлюцинациями» в контексте ChatGPT-4 Митрофанов назвал ситуации, когда модель генерирует ответы, содержащие неверные или выдуманные факты. Это в основном касается данных, которых не было в обучающих данных. Поэтому ИИ генерирует отсутствующую информацию, не соответствующую реальности или контексту.
Исследования Митрофанова
Студент провел тестирование нейросети, которое показало, что она иногда предлагает пользователю дополнительно проверить полученные данные. В ходе исследования также была протестирована «конкурирующая» нейросеть Bing AI. Она не только часто ошибалась в ответах, но и проявляла «дерзость» в общении, не пытаясь исправить информацию по запросу пользователя, а настаивая на ее истинности.
Митрофанов призывает пользователей быть бдительными и не доверять полностью информации, полученной от ИИ. И это немаловажные выводы в свете решения властей Кургана внедрить нейронные сети для оптимизации городского транспорта.
The post «Дерзкий и лживый»: студент из России занимается исследование аномального поведения ИИ appeared first on Русская семерка.
