Доцент кафедры истории России УрФУ Михаил Киселев протестировал Chat GPT и Sage на знание своего предмета, в частности фактов и терминологии. В итоге он назвал нейросеть «студентом-импровизатором» и поставил ей «тройку», сообщает пресс-служба вуза.
Результатом своих исследований ученый поделился в ходе тематического семинара. Он рассказал, что делит студентов на экзамене на три типа: те, кто знает материал и понимает, как с ним работать, те, кто честно признается, что не готов, и уходит на пересдачу. И есть такие студенты, которые выучили часть, но пытаются показать, что знают все, начиная импровизировать и выдумывать, основываясь на обрывочных данных. Именно так в основном и ведет себя нейросеть, отметил историк.
Так, экзамен на знание терминологии нейросети прошли хорошо, в то же время со сложным гуманитарным материалом нейросеть не справляется, утверждает доцент. К примеру, нейросеть не владеет терминологией прошлых веков, зная лишь современный русский язык.
Историк предположил, что «неподготовленность» нейросетей связана с тем, что они имитируют самостоятельное мышление посредством генерации правдоподобных текстов на основании загруженных данных. Однако если данные достаточно полные и однозначны, то нейросети показывают хорошие результаты. Соответственно, в технических науках они демонстрируют большие успехи, нежели в гуманитарных.
Нейросеть показала, как будет выглядеть Екатеринбург в 3854 году