В этом эксперименте я хотел проверить как, chatCPT сдаст ЭГЕ по математике.
Условия эксперимента: Версия chatGPT - 3,5
Вариант ЕГЭ - базовый вариант по математике за 2020 год, состоящий из 20 вопросов.
Дополнительные условия - у бота только одна попытка ответить. Никаких дополнительных подсказок и условий.
Время прохождения - 17 минут.
Сразу спойлер - chatGPT версии 3,5 не сдал экзамен, сделав ошибки в 6 из 20 вопросах.
Теперь немного про само прохождение экзамена. Я копировал запрос и просто вставлял его промт chatGPT. Из плюсов, бот очень последовательно объяснял, как он решал задание, и можно было сразу видеть ошибки в его рассуждениях.
Задание с графиком функций мне пришлось пропустить, так как chatGPT не может принимать картинки. К счастью такое задание было только одно. Я засчитал это как ошибку.
ChatGPT легко справился с обычными заданиями. Однако, он всегда понимал требования к ответу и его приходилось поправлять, вникая в вопрос.
ChatGPT легко справляется с несложными задачами по теории вероятности.
Задачи по геометрии тоже не представляют для него особой сложности, даже если они необычно "обернуты".
Вот интересная и несложная задача, в которой chatGPT ошибся. Однако, исправился при повторном решении. По условиям эксперимента - это минус балл.
Настоящие проблемы у chatGPT начинаются с задачами. Там где нужно рассуждать и делать логические выводы исходя из контекста.
Как бы я ни переформулировал задачу, и сколько бы попыток не делал, подобные задачки пока не подаются общедоступному ИИ.
Итого: chatGPT сделал 6 ошибок. Из них одну он мог исправить и при другом варианте он мог бы выдать правильный ответ. Одно задание было пропущено, потому что в chatGPT нельзя загружать изображения с графиками функций. С 4 заданиями chatGPT не смог справится как бы они ни старался.
Многие сейчас могут посмеяться, мол что это за искусственный интеллект, который не может решить школьные задачки. Но, на это случай напоминаю, что это уже старая версия chatGPT. Уже доступна 4, которая наголову выше 3,5. А осенью 2023 года разработчики обещали показать пятую версию. Для нас, простых пользователей, скорей всего это значит, что четвертая версия станет общедоступной. Хотя официально никто об этом не заявлял.
Какие же я пока могу сделать выводы.
Уже сейчас возможности искусственного интеллекта впечатляют, несмотря на то, что его, по сути, "первые шаги". Учителям, преподавателям и чиновникам от образования предстоит активно поработать над тем. чтобы исключить его недобросовестное использование в учебном процессе.
Однако, я отмечу несколько плюсов.
- ИИ полностью показывает алгоритм решения задания. И, в несложных задачах, можно отследить ход решения, что может помочь в решении подобных задач.
- ИИ способен сам генерировать подобные задачи, что существенно упростить работу учителя.
- Часто чтобы получить правильный ответ, нужно использовать промт-инжиниринг, т.е. правильно этот промт составлять. А чтобы его правильно составить. нужно разбираться в самой задаче. Т.е. не каждый школьник сможет сейчас совладать с chatGPT для решения сложных задач. А тот кто сможет, тому он и не особо нужен будет.
В одной из следующих статей, я протестирую как chatGPT справляется с другими школьными предметами. Поэтому подписывайтесь, чтобы не пропустить.