Автор Джилл Баршай
Помогает ли ИИ ученикам учиться? Недавний эксперимент в старшей школе является предостерегающей историей.
Исследователи из Пенсильванского университета обнаружили, что турецкие ученики старших классов, у которых был доступ к ChatGPT при выполнении практических математических задач, справились с математическим тестом хуже, чем ученики, у которых не было доступа к ChatGPT. Те, у кого был ChatGPT, правильно решили на 48% больше практических задач, но в конечном итоге они набрали на 17% меньше баллов за тест по теме, которую изучали ученики.
Третья группа учеников имела доступ к пересмотренной версии ChatGPT, которая функционировала скорее как репетитор. Этот чат-бот был запрограммирован на предоставление подсказок без прямого разглашения ответа. Учащиеся, которые использовали его, показали впечатляющие результаты с практическими задачами, решив на 127% больше правильных ответов по сравнению с учениками, которые выполняли свою практическую работу без каких-либо высокотехнологичных вспомогательных средств. Но на последующем тесте эти ученики, обучаемые ИИ, не показали лучших результатов. Учащиеся, которые просто решали свои практические задачи старомодным способом — самостоятельно — соответствовали своим результатам тестов.
Исследователи назвали свою работу «Генеративный ИИ может навредить обучению», чтобы дать понять родителям и педагогам, что нынешний урожай свободно доступных чат-ботов ИИ может «существенно препятствовать обучению». Даже доработанная версия ChatGPT, разработанная для имитации репетитора, не обязательно помогает.
Исследователи считают, что проблема в том, что ученики используют чат-бота как «костыль». Когда они анализировали вопросы, которые ученики вводили в ChatGPT, ученики часто просто просили ответ. Учащиеся не развивали навыки, которые возникают при решении задач самостоятельно.
Ошибки ChatGPT также могли быть способствующим фактором. Чат-бот правильно отвечал на математические задачи только в половине случаев. Его арифметические вычисления были неверными в 8% случаев, но более серьезной проблемой было то, что его пошаговый подход к решению задачи был неверным в 42% случаев. Репетиторская версия ChatGPT напрямую получала правильные решения, и эти ошибки были сведены к минимуму.
Черновик статьи об эксперименте был опубликован на сайте SSRN, ранее известной как Social Science Research Network, в июле 2024 года. Статья еще не была опубликована в рецензируемом журнале и все еще может быть пересмотрена.
Это всего лишь один эксперимент в другой стране, и для подтверждения его результатов потребуются дополнительные исследования. Но этот эксперимент был крупным, в нем приняли участие около тысячи учеников 9–11 классов осенью 2023 года. Сначала учителя просмотрели ранее проведенный урок со всем классом, а затем их классы были случайным образом распределены для практики математики одним из трех способов: с доступом к ChatGPT, с доступом к репетитору на основе ИИ, работающему на базе ChatGPT, или вообще без высокотехнологичных вспомогательных средств. Учащимся каждого класса были заданы одни и те же практические задачи с ИИ или без него. После этого они прошли тест, чтобы проверить, насколько хорошо они усвоили концепцию. Исследователи провели четыре цикла, предоставив студентам четыре 90-минутных сеанса практики по четырем различным математическим темам, чтобы понять, помогает ли ИИ, вредит или не делает ничего.
ChatGPT также, похоже, вызывает излишнюю самоуверенность. В опросах, сопровождавших эксперимент, студенты заявили, что не считают, что ChatGPT заставил их меньше учиться, хотя это было так. Студенты с репетитором ИИ считали, что они сдали тест значительно лучше, хотя это было не так. (Это также еще одно хорошее напоминание всем нам, что наше восприятие того, насколько много мы узнали, часто ошибочно.)
Авторы сравнили проблему обучения с ChatGPT с автопилотом. Они рассказали, как чрезмерная зависимость от автопилота заставила Федеральное управление гражданской авиации рекомендовать пилотам минимизировать использование этой технологии. Регуляторы хотели убедиться, что пилоты все еще умеют летать, когда автопилот не работает правильно.
ChatGPT — не первая технология, которая представляет собой компромисс в образовании. Пишущие машинки и компьютеры уменьшают необходимость в рукописном вводе. Калькуляторы уменьшают необходимость в арифметике. Когда у студентов есть доступ к ChatGPT, они могут правильно ответить на большее количество задач, но узнают меньше. Получение правильного результата при решении одной проблемы не поможет им при решении следующей.