Разработчик ПО Дэн Симпиану усомнился в качестве кода, написанного ИИ Copilot от Microsoft. Разработчик прокомментировал заявление GitHub о том, что качество кода, написанного Copilot, интегрированного в платформу, «значительно более функционально, читаемо, надёжно, сопровождаемо и лаконично».
Симпиану выразил сомнения в своём блоге. В ноябре GitHub привёл данные внутреннего исследования, согласно которым разработчики, использующие Copilot, имели более высокие на 56% шансы пройти десять модульных юнит-тестов; написали на 13,6% больше строк кода с GitHub Copilot в среднем без ошибок в коде; писали более читаемый, надёжный, сопровождаемый и лаконичный код на 1-3%; у этих разработчиков на 5% больше шансов, что их код будет одобрен.
Симпиану не согласился с результатами, поскольку написание тестовых приложений Create, Read, Update, Delete — предмет огромного числа онлайн-уроков и, по его мнению, наверняка было включено в обучающие данные, используемые моделями завершения кода. К тому же начинающий разработчик вполне способен написать такое ПО. По мнению критика, лучше было бы выбрать более сложную задачу.
Также Симпиану поставил под сомнение «неадекватно объяснённый график GitHub», который показывает, что 60,8% разработчиков, использующих Copilot, прошли все десять юнит-тестов, в то время как только 39,2% разработчиков, не использующих Copilot, смогли пройти тесты.
В целом эксперт не верит в превосходство ИИ-написания кода по сравнению с людьми.
«Если вы не можете написать хороший код без искусственного интеллекта, то не стоит его использовать», — подчеркнул Дэн Симпиану.