В марте компания OpenAI выпустила версию чат-бота ChatGPT-4. С тех пор регулярно появляются новости о том, как искусственный интеллект сдаёт разные экзамены, работает врачом и много кем ещё.
Специалисты из Университета Бригама Янга и множества других университетов решили проверить, как чат-бот справится с экзаменами по бухгалтерскому учёту. Результаты оказались не идеальными, но в будущем процесс преподавания и обучение бухгалтерскому учёту может измениться.
В исследовании приняли участие 327 соавторов из 186 учебных заведений в 14 странах, в общей сумме ответив на 25181 экзаменационный вопрос по бухгалтерскому учёту. Дополнительно студенты задали ещё 2268 тестовых вопросов. Вопросы затрагивали бухгалтерские информационные системы (АИС), аудит, финансовый учёт, управленческий учёт и налоги. Ответы могли быть верно/неверно, выбор из множества вариантов, краткие.
Пока люди справляются с подобными бухгалтерскими экзаменами лучше. Средний результат студентов составил 76,7% против 47,4% у ChatGPT. Чат-бот лучше ответил на 11,3% вопросов, показав хорошие знания в АИС и аудите. Хуже людей он проявляет себя с налоговыми, финансовыми и управленческими вопросами, испытывая проблемы с математическими расчётами.
68,7% правильных ответов было дано на вопросы с ответами верно/неверно, 59,5% с выбором из нескольких ответов. В коротких ответах результат был только от 28,7% до 39,1%. Иногда на одинаковый вопрос давались разные ответы.
В результате исследования установлено, что ChatGPT не всегда способен распознать математические операции и допускает ошибки вроде сложения двух чисел в задаче на вычитание или неправильное деление чисел. Чат-бот может выдавать пояснения к неверным ответам и иногда выдумывать факты.
Несмотря на это, исследователи верят в пользу искусственного интеллекта при разработке программ преподавания и обучения бухгалтерскому учёту, пишет phys.org.