Недавно наткнулась на исследование, где сравнивали три сильнейшие модели для генерации кода: Anthropic Claude Opus 4, Google Gemini 2.5 Pro и OpenAI O4-Mini-High. Причем оценивали не скорость работы и способность выдать работающий результат, а качество и эффективность. Кому интересен первоисточник – вот он https://arxiv.org/abs/2508.13757.
Результат оказался любопытным. Все модели хорошо справлялись с задачей «чтобы работало», зато когда исследователи начали смотреть на эффективность и поддерживаемость кода, оценки резко просели.
Перевожу с программистского на человеческий: представьте, что вам нужно зайти в дом. Можно открыть дверь ключом, а можно по приставной лестнице залезть на чердак и оттуда уже спуститься вниз. Оба варианта рабочие, но второй довольно странный, согласитесь?
Так вот ИИ часто пишет код именно по второму сценарию. В итоге задача, конечно, решается, но ресурсов тратиться неоправданно много и логика более чем экзотичная. Это что касается эффективности.
С поддерживаемостью тоже интересно. Когда приложение пишет разработчик или даже команда, они придерживаются единых принципов. Код складывается в систему, где все части взаимосвязаны. При этом логика работы всей системы очевидная и, меняя одну строку кода мы понимаем, где, что и как изменится в итоге.
С ИИ не так. Когда приложение пишет ИИ, он частенько реализует один и тот же механизм разными способами. Просто потому что может себе это позволить. Иногда каждая новая функция вообще создается как отдельная история, и, хотя код работает, он не образует единую систему.
До первого серьезного обновления это незаметно. А потом бизнесу нужно добавить новый раздел, подготовить релиз под обновление Android или новые требования регулятора. Разработчик открывает проект и обнаруживает лабиринт Минотавра.
Самое забавное, что сам ИИ далеко не всегда способен быстро разобраться в том, что написал он или другая модель. Мы уже пробовали, потому и пишу этот пост.
И снова я возвращаюсь к мысли, которую уже озвучивала раньше – не призываю отказываться от AI-ассистентов, возвращаться в прошлое и писать код при свечах. Я – за осторожность, поэтому пока отношусь к AI-ассистентам как младшим разработчикам. Способным, работящим, но нуждающемся в надзоре. Да, они ускоряют работу, помогают с рутиной, иногда предлагают интересные решения, но оставлять их без присмотра рановато.
Мария Орлова, генеральный ТехноФабрики
Подписывайтесь, будет больше честных и нескучных историй про разработку приложений и сайтов для бизнеса.