Генерация кода с помощью искусственного интеллекта не облегчает, а, наоборот, усложняет процесс проверки. К такому выводу пришли аналитики ИИ-платформы CodeRabbit, изучившие 470 пул-реквестов в опенсорс-проектах для своего отчёта.
Вердикт экспертов неутешителен: алгоритмы создают значительно больше уязвимостей в логике, безопасности и производительности, чем программисты-люди.
Количество переходит в «некачество»
В среднем один пул-реквест, созданный ИИ, содержит около 10,83 проблемы. Для сравнения, в коде, написанном человеком, этот показатель составляет 6,45. Разница почти в 1,7 раза говорит о том, что командам приходится тратить больше времени на ревью, а риск пропустить ошибку в продакшн существенно возрастает.
Более того, ошибки «цифровых помощников» зачастую оказываются куда опаснее человеческих. В сгенерированных PR встречается в 1,4 раза больше критических и в 1,7 раза больше серьёзных проблем. Это вынуждает ревьюеров разгребать огромный объём проблем высокой степени тяжести.
Слабые места алгоритмов
Отчёт CodeRabbit демонстрирует, что ИИ уступает «белковым» разработчикам практически по всем ключевым категориям:
- Логика и корректность: боты ошибаются в 1,75 раза чаще.
- Качество и поддерживаемость кода: ошибок больше в 1,64 раза.
- Безопасность: количество уязвимостей выше в 1,57 раза.
- Производительность: проблем больше в 1,42 раза.
Особенно тревожна статистика по кибербезопасности. ИИ-код в 1,88 раза чаще грешит неправильной обработкой паролей и в 1,91 раза чаще допускает небезопасные прямые ссылки на объекты. Риск внедрения XSS-уязвимостей (межсайтового скриптинга) у нейросетей выше в 2,74 раза, а ошибок небезопасной десериализации — в 1,82 раза.
Единственная сфера, где искусственный интеллект безоговорочно превзошёл людей, — это грамотность. В человеческих пул-реквестах орфографические ошибки встречаются в 1,76 раза чаще. Также люди немного чаще (в 1,32 раза) создают код, который сложнее тестировать.
Индустрия подтверждает опасения
«Эти данные подтверждают то, что многие инженерные команды чувствовали на протяжении всего 2025 года, – отметил Дэвид Локер, директор по ИИ в CodeRabbit. – Инструменты ИИ резко повышают производительность, но вместе с тем приносят предсказуемые и измеримые слабости, которые организациям необходимо активно устранять».
Выводы CodeRabbit перекликаются с другими отраслевыми отчётами. Так, в исследовании компании Cortex отмечается, что хотя количество пул-реквестов на одного автора выросло на 20% за год, число инцидентов на один PR подскочило на 23,5%, а частота сбоев при изменениях (change failure rate) выросла примерно на 30%.
Академические круги также скептичны. Исследователи из Университета Неаполя выяснили, что код на Python и Java, написанный ИИ, обычно проще и содержит больше повторов, но склонен к использованию ненужных конструкций и хардкодингу. А учёные из Университета Монаша (Австралия) и Университета Отаго (Новая Зеландия) отметили, что GPT-4 часто генерирует излишне сложный код, требующий серьёзной переработки для дальнейшей поддержки, хотя и проходит больше тестов, чем человеческий.
Прогноз на 2026 год
Отчёт организации Model Evaluation & Threat Research (METR), опубликованный в июле, и вовсе показал, что ИИ-инструментарий в ряде случаев замедляет работу программистов.
На фоне этого исследователь Trend Micro Дастин Чайлдс обращает внимание на статистику Microsoft: в 2025 году компания исправила 1139 уязвимостей (CVE) – это второй по величине показатель после рекордного 2020 года. Учитывая заявление Microsoft о том, что в некоторых репозиториях 30% кода уже пишется искусственным интеллектом, Чайлдс прогнозирует дальнейший рост числа багов в 2026 году.
Утешает одно: по крайней мере, в комментариях к этому забагованному коду теперь будет меньше опечаток.