В последние годы программисты все чаще обращаются за помощью к чат-ботам, таким как ChatGPT от OpenAI. Это нанесло ущерб Q&A-сервису Stack Overflow, который в прошлом году был вынужден сократить почти 30% сотрудников.
Тем не менее исследование Университета Пердью, представленное на конференции по взаимодействию человека с компьютером (Computer-Human Interaction), показало, что ChatGPT не всегда является лучшим помощником. Более половины его ответов на вопросы по программированию оказались неправильными.
Учёные проанализировали более 517 вопросов со Stack Overflow, задали их ChatGPT и изучили его ответы. Вот что они обнаружили:
- 52% ответов содержат дезинформацию.
- 77% ответов более многословны по сравнению с ответами людей.
- 78% ответов в той или иной степени не совпадают с человеческими ответами.
Исследователи также опросили 12 программистов и выяснили, что те предпочитают использовать ChatGPT в 35% случаев и не замечают ошибок в его ответах в 39% случаев. Возможно, это связано с тем, как чат-бот формулирует свои ответы.
Лингвистический анализ 2 тыс. случайно выбранных ответов ChatGPT показал, что они «более формальны и аналитичны», а также отражают «менее негативные настроения».
Полуструктурированные интервью, проведенные позже, показали, что вежливый язык, четко сформулированные ответы и их полнота — основные причины, по которым ответы ChatGPT кажутся более убедительными, отметили исследователи. В результате участники становились менее внимательными и упускали дезинформацию.
Результаты показывают, что у ChatGPT есть значительные недостатки. Однако это слабое утешение для сотрудников Stack Overflow, потерявших работу, и для программистов, которым приходится исправлять ошибки в коде, вызванные ИИ.