Доцент кафедры истории России УрФУ Михаил Киселев протестировал нейросети Chat GPT и Sage на знание фактов и терминологии. За экзамен по истории искусственный интеллект получил тройку. Оказалось, что нейросеть может просто выдумывать факты, несуществующие работы или авторов.
«[Есть на экзаменах такой тип студентов], когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения. И здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов», – рассказал Михаил Киселев на научном семинаре «Тексты, коды, смыслы: искусственный интеллект – помощник или соперник гуманитария» в УрФУ.
Чат GPT неплохо отвечал на вопросы, в которых нужна общая научная терминология. А вот со сложным материалом нейросеть пока не справилась. Наибольшие сложности возникли, когда дело дошло до использования языков разных эпох. Человек, если он изучает историю, способен понять терминологию XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XIX века и современный. Искусственный интеллект пока владеет лишь современным русским языком. Например, нейросети в целом верно ответили на вопрос «Что такое завещание Василия III?». Когда же слово «завещание» в вопросе заменили на слово «духовная», искусственный интеллект не понял. «[При такой формулировке] нейросети показали незнание исторической терминологии. Chat GPT заявил, что «это период правления российского царя Василия III (1479-1533), когда произошло значительное развитие православной церкви в России», а Sage, что «это название церковной реформы, проведенной российским царем Василием III в конце XV – начале XVI веков»», – рассказал Михаил Киселев.
Не смогли нейросети ответить и на вопросы про авторов исторических трудов, в некоторых случаях они придумывали своих авторов. По мнению историка, сложности искусственного интеллекта возникают в дисциплинах, где есть разные подходы и концепции. В более точных науках они могут показать лучший результат.
Ранее «Новый День» беседовал о применении нейросетей в образовании и работе с руководителем Центра цифровой гуманитаристики Уральского федерального университета Анной Михайловной Плотниковой. Она также говорила, что нейросеть способна, например, писать тексты, но делает это на тройку. Кроме того, искусственный интеллект не способен заменить писателей, художников, музыкантов. «Да, в словосочетании «искусственный интеллект» уже заложено, что это – мозг. Но этот мозг пока не столь совершенен, как человеческий. Будет ли он таким? Трудно сегодня сказать. Но я думаю, что до момента, когда компьютер создаст фактически другого человека, все-таки далеко», – говорила Анна Плотникова.
Екатеринбург, Ольга Тарасова
Ссылки по теме