Справился на троечку: Ученый проверил ChatGPT и Sage на знание исторических фактов

Историк устроил экзамен для нейросетей: ученый протестировал ChatGPT и Sage на знание фактов и терминологии и пришел к выводу, что искусственный интеллект лишь имитирует самостоятельные рассуждения и с заданием справился на "троечку".

- Есть такой тип студента: он выучил кое-что, но делает вид, что знает все. И, опираясь на какие-то обрывочные сведения, начинает импровизировать. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, она реагирует адекватно, но в остальном может выдумывать факты, несуществующие работы или авторов, - пояснил экзаменатор - доцент кафедры истории России УрФУ Михаил Киселев.

Обе нейросети дали приемлемый ответ на вопрос: в чем разница между историческими и историографическим источниками? То есть в том, что касается устойчивой общей научной терминологии, и ChatGPT и Sage разбираются.

Следующая задача была посложнее, и тут уже результаты хуже. Итак: сначала вопрос был задан в такой формулировке - "что такое завещание Василия III?". Обе нейросети в целом с ответом справились за исключением некоторых неточностей. Затем ученый использовал устаревший синоним - "что такое духовная Василия III?". И тут нейросети показали незнание исторической терминологии.

- ChatGPT считает, что "это период правления Василия III, когда произошло развитие православной церкви", а Sage - что "это название церковной реформы", - говорит Киселев.

На вопрос "какие историки писали о завещании Василия III?" обе нейросети называли наравне с реальными исследователями и их работами также и несуществующие книги несуществующих авторов.

- Если представить, что такая беседа велась на экзамене, то можно сказать, что студент "поплыл" из-за неглубокой проработки материала, хотя и старался держаться уверенно, - сравнивает историк.

Есть вероятность, что хоть нейросеть и не заменит в будущем полноценную подготовку к экзаменам и не напишет авторский диплом, зато может стать подспорьем, например, при оформлении списков литературы, составление аннотации - то есть возьмет на себя часть рутинной, механической (но не творческой) работы.