ChatGPT стал известен всей планете за считанные часы. Он умеет так много, что у людей быстро сложилось впечатление о его идеальности и возможности вскоре заменить специалистов ряда профессий. Но, видимо, человечество поторопилось с выводами. Мы собрали для вас 5 фактов, убеждающих, что ChatGPT не заберет у людей работу. Пока.
1. Чат-бот едва не лишил лицензии адвоката
Адвокат с 30-летним стажем Стивен Шварц использовал для поиска прецедентов по одному из своих дел ChatGPT. Чат-бот быстро сделал необходимую подборку, но в суде выяснилось, что минимум 6 дел, представленных Стивеном Шварцем в качестве прецедентов, «кажутся фиктивными судебными решениями с фиктивными цитатами и фиктивными внутренними отсылками к источнику».
Позже адвокат заявил, что, так как до этого дела никогда не использовал ChatGPT в качестве источника юридической информации, он не знал о возможности ложного содержания работы чат-бота. Также Стивен пообещал больше не использовать эту технологию «без абсолютной проверки подлинности» фактов, которые предоставит нейросеть.
2. Chat GPT провалил университетский экзамен по истории
Историки Уральского федерального университета провели эксперимент, чтобы выяснить, сможет ли ChatGPT сдать экзамен по истории в вузе.
«На вопросы, связанные с использованием устойчивой общей научной терминологии, давались вполне хорошие ответы… Однако со сложным гуманитарным материалом нейросеть не справляется. Так, в работе историк имеет дело с языками нескольких эпох: терминология XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XX века и современный – и все это русский язык, который понимает человек. Нейросеть же владеет только современным русским языком и не воспринимает нюансы языков разных эпох», – рассказали в УрФУ.
Доцент кафедры истории России УрФУ Михаил Киселев, который проводил эксперимент, сравнил ChatGPT со студентом, который «выучил кое-что, но делает вид, что знает все». Для убеждения в своей осведомленности он, «опираясь на какие-то обрывочные сведения, начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными». Так же делает и нейросеть. Она «может просто выдумывать факты, несуществующие работы или авторов».
3. ChatGPT завалил ЕГЭ по литературе
Нейросети дали задание написать сочинение на тему «Как в творчестве А.А. Ахматовой раскрывается тема личности и истории». Готовый текст проверяли преподаватели, которым сказали, что его написал студент. Педагоги работой остались крайне недовольны. Единственный плюс, который они выделили, – отсутствие орфографических и пунктуационных ошибок. Несмотря на него, один из педагогов всё равно поставил ноль баллов. А депутат Госдумы – публицист Анатолий Вассерман – заявил, что это сочинение писала «ограниченная личность».
4. ChatGPT провалил пробный экзамен по гастроэнтерологии
Как выяснила Екатерина Погонцева для портала «Медвестник», ChatGPT-3 и ChatGPT-4 провалили тесты самооценки Американской коллегии гастроэнтерологов (ACG) 2021 и 2022 гг. Тесты из 300 вопросов используются, чтобы понять, справится ли тестируемый с самим экзаменом. В ходе испытания надо набрать не менее 70% правильных ответов, чат-ботам не хватило 5-8% до этой отметки.
5. ChatGPT сдал на «тройку» ОГЭ по истории
При сдаче основного государственного экзамена ChatGPT набрал 14 из 21 баллов. Учитель истории Максим Черкашин из Онлайн-гимназии № 1 назвал результат экзамена удовлетворительным и поставил нейросети «тройку». Он также отметил, что чат-бот испытывал трудности как с тестами, так и с письменными заданиями экзамена. Например, он полностью провалил простой тест по истории Древней Руси. При этом педагогов Онлайн-гимназии № 1 удивила способность ChatGPT выдвигать в ответах самые смелые предположения и гипотезы. К сожалению, ни одна из них не подтвердилась.
Почему вы верите (или не верите), что ChatGPT может вскоре отобрать работу у ряда специалистов?