Anthropic опубликовали исследование, как AI влияет на скорость выполнения задач и на развитие навыков программирования.
В эксперименте участвовали 52 джуна. Все решали одну и ту же задачу с новой для них технологией. Половине разрешили пользоваться AI, половине — нет. После выполнения задачи все участники прошли итоговый тест на понимание темы.
Группа без AI работала медленнее и чаще ошибалась, но в итоговом тесте показала в среднем на 17% лучшие результаты. По сути, пока люди вручную разбирались с ошибками, у них формировалось понимание.
Группа с AI действительно сделала задачу быстрее в среднем на 2 минуты, т.е. ускорение оказалось небольшим и статистически незначимым. При этом понимание темы у них оказалось существенно хуже.
Самые слабые результаты были у участников, которые полностью делегировали AI и написание кода, и дебаг, и выбор решений. Те же, кто использовал AI для объяснений и разбора логики, показывали результаты ближе к группе без AI и заметно лучше остальных AI-пользователей.
Итог исследования такой: AI может слегка ускорить выполнение задачи, но в среднем снижает качество обучения, если использовать его как автопилот. Чтобы AI не мешал формированию навыков, его нужно встраивать в процесс осознанно — с разбором решений и инженерной дисциплиной, а не как замену мышлению.
***
А здесь я подведу черту и добавлю уже от себя.
Это исследование помогает понять, что нас ждёт дальше.
Очевидно, что AI действительно сильно ускоряет работу. В той же статье Anthropic говорится, что ускорение в отдельных задачах может доходить до 80%. Поэтому если уже сформировавшийся сеньор осваивает AI-инструменты и решает с их помощью задачи, с которыми он раньше справлялся и без AI, это скорее превращает его в «киборга», а не делает глупее. Его навыки и понимание предметной области уже сформированы, и AI лишь усиливает их.
Гораздо интереснее вопрос, что будет происходить с теми, кто только начинает карьеру. Маловероятно, что компании будут закладывать дополнительное время на обучение. Скорее всего, они просто будут ожидать определенного темпа выполнения задачи с учетом того, что она выполняется с помощью AI в режиме автопилота. К тому же человеческий мозг устроен так, что если результат достигнут, разбираться во всех деталях уже не хочется. Путь, который проходило предыдущее поколение разработчиков, можно будет воссоздать только искусственно.
Вспомните даже себя. Как часто вы действительно углубляетесь в дебри своего языка программирования? Чаще всего мы открываем книги и статьи перед собеседованиями — просто потому, что там это могут спросить. При этом многие знания у современных разработчиков уже атрофировались: работа с памятью, тонкости алгоритмов, низкоуровневое сетевое взаимодействие. С более высокими абстракциями у следующего поколения, скорее всего, произойдёт то же самое.
Это не хорошо и не плохо. Это просто новый этап развития IT. Бороться с этим бессмысленно. Кто захочет — будет учиться глубже, но таких людей всегда будет меньшинство. Большинство же будет закрывать типовые задачи и радоваться.
***
Приглашаю в свой тг-канал «Из найма в продукт». Я рассказываю, как совмещаю работу в найме и разработку собственного продукта. Пишу про IT, карьеру и выживание в профессии — обо всём, что меня волнует.