В течение более 10 последних лет программисты со всего мира создавали код для моделей искусственного интеллекта, но теперь уже чат-боты активно применяются для написания кода. В результатах исследования, представленных в журнале IEEE Transactions on Software Engineering, учёные оценили функциональность, сложность и безопасность работы чат-бота ChatGPT 3.5 от OpenAI в создании кода.
В соответствии с основными выводами, успех чат-бота ChatGPT в создании функционального кода варьируется от 0,66% до 89%. По словам исследователей, в этом случае всё зависит от сложности задачи, поставленной перед искусственным интеллектом, выбранного языка программирования и ряда иных факторов. Учёные также признают, что в определённых ситуациях искусственный интеллект пишет код намного лучше, чем обычный человек. Но при этом особое внимание необходимо уделять вопросам безопасности кода, сгенерированного технологией искусственного интеллекта.
Исследование было проведено под руководством Ютиана Танга, лектора Университета Глазго. Уточняется, что создание кода с применением ChatGPT увеличивает производительность и автоматизирует задачи разработки различного софта, но во внимание должны приниматься преимущества и недостатки применения искусственного интеллекта в этой ситуации.
Ютиан Танг по результатам проведённого исследования рассказал, что в целом успех ChatGPT в решении поставленных задач по написанию кода был высоким, в особенности в том случае, если затрагивались вопросы, актуальные до 2021 года. Например, лёгкие задачи искусственный интеллект решал с успехом 89%, средние — 71%, сложные — 40%. Вместе с этим, если нейросети требовалось решать задачи, появившиеся после 2021 года, то её способность в создании корректного кода существенно уменьшалась: 52% для лёгких задач и 0,66% для сложных задач.
Учёные отметили, что это связано с тем, что версия чат-бота ChatGPT 3.5 обучена на данных до 2021 года, поэтому совсем не знакома с новыми задачами и их возможным решением. Помимо этого, искусственный интеллект не имеет критического мышления, которое присутствует у человека, поэтому способен решать только те задачи, с которыми уже был знаком.
Специалисты также рассказали, что ChatGPT генерирует код с минимальными затратами памяти и времени, если сравнивать с той же работой, которую выполняют программисты.
Ещё по теме: