Автор эксперимента в восторге от результатов.
В декабре чат-бот ChatGPT, разработанный компанией OpenAI, без подготовки успешно сдал выпускной экзамен по основному курсу программы MBA «Управление операциями» в Уортонской школе бизнеса при университете Пенсильвании. Корреспондент Bloomberg обсудил возможности использования нейросети в образовании с профессором Кристианом Тервишем, ответственным за проведение эксперимента. С результатами его исследования можно ознакомиться по ссылке.
Как ChatGPT справился с экзаменом
По словам Тервиша, ему пришло в голову провести такой эксперимент благодаря его сыновьям. Его дети используют популярные программы с искусственным интеллектом Midjourney и ChatGPT, и однажды один из них задал вопрос профессору: “Эй, папа, а эта штука может сдать этот твой экзамен?” Ученый решил это проверить.
Тервиш отметил, что ChatGPT не просто давал правильные ответы, они были хорошо сформулированы и красиво написаны.
"Я действительно даже не подозревал, что все будет так. Это как, вы знаете, когда мы заходим в Google, вводим запросы и нередко поражаемся тому, что он нам выдает. Я не ожидал, что ответ будет выполнен так хорошо. <...> Моей первой мыслью было: “Оу, это так круто”", — вспоминает профессор.
Тервиш рассказал, что нейросеть блестяще справилась с основными и достаточно сложными вопросами курса, но определенные моменты все же вызвали трудности — чат-бот допустил несколько банальных ошибок. В итоге робот получил оценку «В» (соответствует российской оценке "4").
"Он [чат-бот] допустил действительно глупые математические ошибки, которые не допустил бы и шестиклассник — в этом настоящая ирония. Он хорошо выражает мысль и рассуждает, применяет логику и обладает хорошим концептуальным пониманием, но так слаб в математике. Да ладно, чувак, ты же компьютер!", — поделился своими ощущениями профессор.
При этом ученый отметил, что ChatGPT справился лучше, чем ожидалось, и результаты экзамена вызывают восторг.
Как можно использовать чат-бота на экзаменах
По словам Тервиша, во всем мире в сфере образования идет дискуссия насчет политики тестирования. Он отметил, что есть несколько типов экзаменов.
"Один из типов тестирования — сертификация навыков. Например, сертификат CPA , юридический сертификат или что-то в этом роде. Нет никаких сомнений, в подобных случаях мы должны протестировать не бота, а студента", — подчеркнул профессор.
Он добавил, что существуют типы экзаменов, которые являются не проверкой основных знаний, а нацелены на углубление процесса обучения. Тервиш привел в качестве примера такой формат, как эссе по философии. Во многих случаях главная задача этого формата улучшить навыки в процессе работы над сочинением, а не получить за него определенную оценку.
По мнению Тервиша, нейросеть позволит в обозримом будущем развить подобные экзамены.
"Можно заставить бота притвориться французским философом, чтобы он побеседовал со студентом по-французски в течение часа — студенту нужно будет взять у него интервью. Есть столько вариантов того, что можно сделать сейчас, учитывая эту технологию, чтобы создать новый образовательный опыт. Ведь это именно то, для чего мы, преподаватели и профессора, существуем. Мы должны создавать учебный опыт», — говорит он.
Заменит ли чат-бот живых работников?
Профессор также прокомментировал опасения по поводу того, что из-за нейросети люди могут остаться без работы.
Тервиш был одним из первых преподавателей Coursera, и он напомнил о том, что ранее критики дистанционного образования предполагали, что из-за онлайн-курсов учителя потеряют работу.
"Я считаю, что на деле все наоборот. У всякой работы есть соотношение цены и качества. Вы можете слабо вложиться в обучение и получить плохие результаты, а можете уделить больше внимания и средств, но получить отличные результаты. Мы называем это границей эффективности. Сейчас вы получили новую технологию, которая делает вас более эффективным. Это означает, что вы можете либо уволить половину учителей, либо у вас есть шанс сделать студентов вдвое умнее. Я очень надеюсь, что мы воспользуемся возможностью увеличить эффективность и передадим знания студентам", — считает Тервиш.