Новое исследование показало, что вопреки распространенному мнению, использование передовых инструментов искусственного интеллекта не ускоряет, а замедляет работу опытных разработчиков программного обеспечения, когда они работают с привычными для них кодовыми базами.
По данным Reuters, в начале этого года некоммерческая организация METR, занимающаяся исследованиями в области ИИ, провела углубленное исследование в группе опытных разработчиков, которые использовали Cursor, популярного помощника по программированию на основе ИИ, для выполнения задач в проектах с открытым исходным кодом, с которыми они были знакомы.
До начала исследования разработчики ПО с открытым исходным кодом полагали, что использование искусственного интеллекта ускорит их работу, сократив время выполнения задач на 24%. И даже после выполнения задач с помощью ИИ они считали, что время выполнения задач сократилось на 20%. Однако исследование показало, что использование ИИ привело к обратному результату: оно увеличило время выполнения задач на 19%.
Ведущие авторы исследования, Джоэл Беккер и Нейт Раш, заявили, что были шокированы результатами: до начала исследования Раш написал, что ожидал «двукратного ускорения, что вполне очевидно».
Полученные результаты опровергают мнение о том, что искусственный интеллект всегда повышает производительность дорогостоящих инженеров-людей, что привлекло значительные инвестиции в компании, продающие продукты с использованием ИИ для содействия разработке программного обеспечения.
Ожидается, что ИИ также заменит должности программистов начального уровня. Генеральный директор Anthropic Дарио Амодей недавно заявил Axios, что технология может сократить половину всех рабочих мест «белых воротничков» начального уровня в ближайшие пять лет.
Более ранние исследования показывали повышение производительности программистов с помощью ИИ. Так, в одном случае это ускорило их работу на 56%, в другом разработчики смогли выполнить на 26% больше задач.
Однако новое исследование METR показывает, что эти преимущества применимы не ко всем сценариям разработки программного обеспечения. В частности, опытные разработчики, хорошо знакомые с особенностями и требованиями крупных, устоявшихся кодовых баз с открытым исходным кодом, сталкивались с замедлением темпов работы.
Другие исследования часто опираются на эталоны разработки программного обеспечения для ИИ, которые иногда искажают реальные задачи, говорят авторы исследования. Замедление связано с тем, что разработчикам приходится тратить время на изучение и исправление того, что предлагают модели ИИ.
«Когда мы смотрели видеозаписи, то обнаружили, что ИИ вносил некоторые предложения по поводу своей работы, и они часто были правильными с точки зрения направления, но не совсем тем, что нужно», - сказал Беккер.
Авторы не ожидают, что замедление темпа работы применимо в других сценариях, например, для младших разработчиков или программистов, работающих в кодовых базах, с которыми они не знакомы.
Большинство участников исследования, как и его авторы, продолжают использовать Cursor, поскольку это упрощает процесс разработки и, делает его более приятным, как редактирование эссе вместо того, чтобы смотреть на чистый лист.
«У разработчиков есть и другие цели, кроме скорейшего завершения задачи, - говорит Беккер. - Поэтому они выбирают этот менее трудоемкий путь».