Вокруг нейросетей ходит много разговоров о том, что в скором времени они заменят специалистов из разных областей. Уже сейчас искусственный интеллект генерирует картинки, пишет тексты, ведет осмысленные беседы. На первый взгляд все идеально, но как обстоит дело с качеством итогового продукта?
В РТУ МИРЭА задались этим вопросом, проведя масштабный научно-практический эксперимент, призванный выявить влияние технологий нейросетей на объективность и качество аттестации, а также оценки знаний студентов.
Для научного исследования с помощью слепого отбора было приглашено более 200 студентов и 20 преподавателей. Студентам поставили задачу написать научно-практическую работу на выбранную тему с использованием нейросети, в том числе сервисов ChatGPT, Ai search, Gerwin AI, «Балабоба» и TurboText. Профессорско-преподавательский состав выявлял из числа работ, написанные в тандеме с искусственным интеллектом.
Результат говорит сам за себя: 96% текстов, созданных ИИ, определены преподавателями безошибочно. В случае с оставшимися 4% — авторы этих рефератов дорабатывали и перерабатывали материал, предложенный нейросетью.
Сгенерированные тексты были определены не только по отсутствию опечаток и исключительной грамотности. В 72% случаев допущены грубые фактические и логические ошибки. 67% работ содержали слишком много «воды» и не несли важной, существенной информации.
Подводя черту эксперименту, вывод напрашивается один — на сегодняшний день технологии нейросетей не ставят под сомнение качество аттестации и проверки уровня знаний студентов высших учебных заведений.
Пока ИИ не в силах создать уникальный научный и интеллектуальный продукт. Его работа ограничивается лишь знаниями, заложенными в неё конкретными людьми.