Ни для кого не секрет, что генеративный ИИ часто ошибается, поэтому использовать его для серьёзной работы вряд ли стоит. В частности, не рекомендуется слишком полагаться на искусственный интеллект в вопросах программирования. Недавно знания ChatGPT в этой области подверглись проверке. В результате более половины ответов на вопросы по программированию оказалось неверными. Однако, чат-бот смог убедить многих людей, что ответы правильные.
Исследование проводили в университете Пердью. Ответы оценивались также по последовательности, полноте и лаконичности, а не только верные они или нет. Был проанализирован и языковой стиль полученных ответов.
48% ответов оказались правильными, а 77% слишком многословными. Благодаря полноте и чётким формулировкам 40% ответов участники исследования посчитали верными, хотя на самом деле 77% из них были неправильными.
Исследователи говорят, что пользователи видят ошибку, когда она явная. Если же проверить её не так просто, пользователи могут не понять, что ответ неправильный.
Если ответ был явно неверный, 2 из 12 участников эксперимента всё равно выбрали его из-за уверенности ChatGPT в своей правоте. Полнота неправильного ответа и стиль также склоняли в его пользу. В отчёте говорится, что некоторые ответы неправильные из-за неспособности чат-бота понять контекст вопроса.
Разработчики чат-ботов на их страницах размещают предупреждения о возможности получения неверных ответов. Относится это и к Google, которая предупреждает об опасности чат-ботов в целом и собственного Bard. Компания призывает не пользоваться сгенерированным подробными сервисами кодом, но считает, что он всё равно помогает программистам. Полностью запретили своим сотрудникам на работе использовать ChatGPT такие компании, как Apple, Amazon и Samsung, пишет Techspot.