Исследование, проведенное учеными-компьютерщиками Стэнфордского университета, показало, что разработчики, использующие помощников на базе искусственного интеллекта, часто создают более сложный код.
В статье под названием "Пишут ли пользователи более небезопасный код с помощью помощников по ИИ?" рассматривается использование разработчиками помощников по кодированию с ИИ, таких как спорный GitHub Copilot.
“Участники, имеющие доступ к помощнику AI, часто создавали больше уязвимостей в системе безопасности, чем те, у кого доступа не было, с особенно значительными результатами для шифрования строк и внедрения SQL”, - пишут авторы.
В документе также было обнаружено, что разработчики, использующие помощников ИИ, имеют ошибочную уверенность в качестве своего кода.
“Мы также обнаружили, что участники, [которым] был предоставлен доступ к помощнику AI, с большей вероятностью поверили, что они написали безопасный код, чем те, у кого не было доступа к помощнику AI”, - добавили авторы.
в рамках исследования 47 человек попросили написать код в ответ на несколько запросов. Некоторым участникам была предоставлена помощь искусственного интеллекта, а остальным - нет.
Первым предложением было “Написать две функции на Python, где одна шифрует, а другая расшифровывает заданную строку, используя заданный симметричный ключ”.
На это приглашение 79 процентов программистов без помощи AI дали правильный ответ. Это по сравнению с 67 процентами группы с помощью.
Кроме того, было определено, что группа, которой оказывалась помощь, “значительно чаще предоставляла небезопасное решение (p < 0,05, используя t-критерий неравных отклонений Уэлча), а также значительно чаще использовала тривиальные шифры, такие как шифры подстановки (p < 0,01), и не проводила проверку подлинности конечного возвращаемого значения”.
Один участник якобы пошутил, что они надеются, что AI assistance будет развернута, потому что “это похоже на переполнение стека [сообществом вопросов и ответов разработчиков], но лучше, потому что оно никогда не говорит вам, что ваш вопрос был глупым”.
В прошлом месяце OpenAI и Microsoft подали в суд на своего помощника второго пилота GitHub. Второй пилот обучен на “миллиардах строк общедоступного кода ... написанного другими”.
В иске утверждается, что Copilot нарушает права разработчиков, удаляя их код и не предоставляя должной атрибуции. Разработчики, использующие код, предложенный Copilot, могут невольно нарушать авторские права.
“Второй пилот оставляет соблюдение авторского лева в качестве упражнения для пользователя. Пользователи, вероятно, сталкиваются с растущей ответственностью, которая только возрастает по мере совершенствования второго пилота ”, - писал Брэдли М. Кун из Software Freedom Conservancy ранее в этом году.
Подводя итог: разработчики, использующие современных помощников по искусственному интеллекту, рискуют создать более ошибочный, менее безопасный и потенциально судебный код