На днях доцент кафедры истории России УрФУ Михаил Киселёв протестировал два искусственных интеллекта - Chat GPT и Sage - на предмет знания российской истории. Например, преподаватель спросил нейросети о завещании великого князя Василия III. В ответ оба ИИ назвали его царём, хотя этот титул принял только его сын Иван IV, вдобавок Chat GPT ещё и написал, что отец Грозного назначил в своём завещании министров, а это некорректно, так как никаких министров в Московском княжестве тогда не было.
После этого вопрос был переформулирован. Дело в том, что в XVI веке завещание носило название "духовная", и Михаил Киселёв попросил чат-ботов рассказать о содержании духовной Василия III: ИИ "поплыли" ещё сильнее. Chat GPT ответил, что это период правления Василия III, когда произошло развитие и укрепление православной церкви в нашей стране, в то время как Sage под "духовной" понимает церковную реформу великого князя.
Затем историк спросил ИИ, какие учёные и историки писали о завещании Василия III, и два робота сначала "лили воду", говоря, что об этом писали "многие историки", а потом назвали самых известных и популярных дореволюционных историков: Василия Ключевского и Сергея Соловьёва (но на самом деле личность Василия III изучало куда больше людей). Также они стали выдумывать имена несуществующих авторов или приписывать разным людям профессию историка.
Как рассказал Metro Михаил Киселёв, он решил проверить роботов на знание истории из-за того, что они стали чересчур популярны как в научном сообществе, так и среди преподавателей и, особенно, студентов.
- Если раньше был банальный плагиат, то теперь студенты выдают тексты нейросетей за свои, - говорит историк. - Мне было интересно, как можно этими ИИ злоупотреблять и как в благих целях использовать.
Также учёный решил проверить, как ИИ работает с материалом именно по гуманитарным наукам, потому что в них есть свои нюансы.
- Естественнонаучники - физики и биологи - уже тестировали такие чат-боты, и результаты были отличные. Но в точных и естественных науках есть чёткие ответы, язык универсальный, ведь атом или электрон имеют единственные законы поведения и описания. В гуманитарных науках ответы вариативны, - рассуждает он. - Поэтому, если написать чат-боту запрос "почему Татищева отправили на Урал в 1720 году", то нейросеть сломается, потому что тогда в этом месте был регион Сибирская губерния.
Он отмечает, что сейчас при требовательном преподавателе нейросети не позволят студенту сдать экзамен на хорошую оценку: где-то они "льют" общие слова, где-то выдают неверные формулировки, могут и откровенно врать и выдумывать.
- Они ведут себя как зарвавшийся студент, - ироничен Михаил Киселёв.
Тем не менее, по его словам, такие нейросети могут быть полезны для формальных аспектов научной работы: для перевода, проверки стиля, согласованности или для оформления списка литературы.
- В итоге по результатам эксперимента душа преподавателя спокойна: студенту придётся учить или переписывать работу, составленную на основе нейросетей, - заключил историк.
Ярослав Николаев