Платформа CodeRabbit опубликовала отчёт под названием State of AI vs Human Code Generation. Он посвящён сравнительному исследованию качества кода, написанного вручную, и при помощи ИИ. Результаты говорят сами за себя: искусственный интеллект «кодит» в среднем в 1,7 раза хуже, чем реальные программисты.
Основой отчёта стал анализ 470 реальных pull request’ов из открытых проектов на GitHub (320 «вайбкодерских» и 150 написанных только людьми). Как выяснилось, в ИИ-коде на 75% чаще встречаются логические ошибки, уязвимостей в нём в 1,5–2 раза больше, а читаемость такого кода втрое хуже сравнительно с «классикой».
Другой важной проблемой ИИ-кода стала низкая производительность: в нём оказалось почти в 8 раз больше неэффективных операций ввода-вывода.
По словам специалистов, камнем преткновения для ИИ чаще всего оказывается недостаток контекста. Без доступа к бизнес-правилам, архитектурным ограничениям и паттернам нейросеть генерирует код, не учитывая специфику репозитория.
Для повышения эффективности ИИ-кода специалисты CodeRabbit предлагают добавлять в промпты контекст проекта и ряд дополнительных тестов. При этом они отмечают, что полностью автоматизировать качество не получится: участие опытного разработчика остаётся необходимым условием для успешного завершения проекта.