Несмотря на два года активного использования генеративного искусственного интеллекта (ИИ), его возможности в академической сфере вызывают вопросы. Хотя некоторые модели, такие как GPT-4, продемонстрировали высокие результаты на экзаменах, недавнее исследование показало, что ИИ не является столь мощным инструментом в юриспруденции.
В исследовании, проведенном в Университете Вуллонгонга, анализировалось выполнение студентами финального экзамена по уголовному праву. Экзамен состоял из двух частей: оценки кейса и написания эссе. Студенты не могли использовать ИИ. Для анализа также были созданы десять ответов с помощью различных моделей ИИ. Все ответы были анонимно оценены преподавателями, которые не знали, какие из них были сгенерированы ИИ.
Результаты показали, что ИИ не смог справиться с комплексными вопросами, требующими глубокого юридического анализа. В среднем, ответы ИИ, созданные без подсказок, превзошли только 4,3% ответов студентов. В то время как ответы, основанные на подсказках, обошли 39,9% студентов.