Во время проведения эксперимента стало понятно, что нейросети не сдали успешно экзамен по истории. Ответы ИИ оценили на «удовлетворительно».
Исследователи считают, проблема заключается в том, что нейросети не умеют оценивать нюансы языков разных эпох. Факты, по которым не удалось найти нужную информацию, были заменены вымышленными сведениями.
Экзамен по истории проводил Михаил Киселев. Изучив ответы ChatGPT и Sage, он оценил их на «тройки». Киселев рассказывает, что в его практике иногда встречаются студенты, которые пытаются произвести такое впечатление, будто все знают. Вместо того чтобы честно признаться, что не знают правильный ответ, они начинают импровизировать, используя богатую фантазию. Нейросети ведут себя, как находчивые студенты, но эта позиция не считается верной, ведь информация искажается.
История ─ это не тот предмет, который можно освоить, выдумывая факты. Больше всего Киселева удивило, как быстро нейросети придумывают несуществующие книги и называют несуществующих авторов, чтобы доказать свои утверждения. На первый взгляд, ответы ChatGPT и Sage могут показаться правдивыми, но это не так. «Тройки» нейросети получили за то, что имеют представление об истории. Студенты стали задумываться об использовании нейросетей, ведь в этом случае не всегда можно получить точные сведения по запросу.