В интернете не утихают споры о том, помогает ли ИИ улучшить обучение или же только мешает усваивать новые знания. Компания Anthropic провела эксперимент, во время которого изучалось, что происходит с навыками, когда в процесс обучения вмешивается ИИ.
Как и что исследовалось?
Anthropic провела испытание, в котором участвовали 52 разработчика (в основном уровня Junior), где все участники учили новую для себя библиотеку Trio (похоже на async в Python).
Одним разрешили пользоваться ИИ-ассистентом, а другим нет.
После изучения двум группам предложили пройти тест на понимание изученного материала.
Результаты теста следующие:
- с ИИ: 50%
- без ИИ: 67%
Хотя скорость выполнения задач у группы с ИИ оказалась чуть выше, в части отладки группа без ИИ показала сильный отрыв вперёд от группы с ИИ.
И это достаточно тревожный знак, поскольку именно отладка является важным навыком при проверке того же самого ИИ-кода.
Получается замкнутая петля - чтобы проверить ИИ-код, нужны навыки, которые при частом взаимодействии с ИИ развиваются хуже
Хуже всего были результаты у участников, которые писали в духе сделай всё за меня
Получается, что чем больше не осознанных промптов к ИИ ты пишешь, тем меньше само понимание изученного.
Авторы статьи, тем не менее, выделяют несколько ключевых паттернов взаимодействия с ИИ, которые приводят к положительным и отрицательным результатам.
1️⃣Паттерны, которые убивают обучение:
- AI delegation или "сделай полностью за меня".
- Progressive AI reliance или "сначала чуть-чуть, потом всё больше делегирования".
- Iterative AI debugging или "ИИ - как костыль для отладки", а не как инструмент для понимания.
2️⃣Паттерны, которые помогают в обучении:
- Conceptual inquiry или "спрашиваю концепты, а код пишу сам".
- Hybrid code-explanation или "запрашиваю код + поэтапное объяснение к тому, как он работает".
- Generation-then-comprehension или "запрашиваю код и спрашиваю - почему так?”.
Использование правильных паттернов взаимодействия с ИИ действительно способно улучшить качество обучения.