10,6 тыс подписчиков
Чат-бот GPT назвали самым "человечным" при анализе бредовых суждений
Американские и израильские исследователи сравнили результаты работы девяти больших языковых нейросетей при анализе естественности и смысла противоречивых высказываний и пришли к выводу, что ответы чат-бота GPT были самыми близкими к мнениям людей. Выводы ученых были опубликованы в четверг в научном журнале Nature Machine Intelligence.
"Мы впервые изучили способности больших языковых нейросетей предугадывать то, насколько правдоподобным или нереальным будет считать человек то или иное бессмысленное высказывание. Лучше всего в решении этой задачи проявила себя система GPT, однако при этом и она нередко вела себя совершенно не так, как в подобной ситуации поступал бы человек", - говорится в исследовании.
К такому выводу пришла группа психологов и нейрофизиологов под руководством доцента Колумбийского университета в Нью-Йорке Кристофера Бальдассано при изучении различий в том, как человек и продвинутые языковые нейросети воспринимают различные формы речи. Для проведения этих опытов ученые собрали группу из ста добровольцев, а также использовали девять самых популярных языковых систем машинного обучения, в том числе GPT-2, ELECTRA и BERT.
И нейросети, и люди должны были прочитать набор из случайных предложений с абсурдным или логичным содержанием, которые были собраны учеными в одной из популярных социальных сетей, и выбрать один из вариантов, который им казался более естественным. К примеру, они должны были сравнить две фразы: "Это тот нарратив, который нам продали" и "Это та неделя, когда ты умирал".
Последующее сравнение ответов людей и систем ИИ показало, что алгоритмы на базе так называемых нейросетей-трансформеров, к числу которых относятся BERT и GPT, чаще всего давали те же ответы, что и люди, по сравнению с рекуррентными нейросетями и прочими типами систем машинного обучения. При этом и GPT, и BERT одинаково хорошо справлялись с самыми естественными предложениями, однако первая нейросеть оказалась в целом успешнее при анализе всех типов высказываний.
При этом ученые подчеркивают, что даже чат-бот GPT иногда делал "нечеловеческие" суждения при анализе противоречивых высказываний, что не позволяет говорить о том, что он воспринимает лингвистические конструкции так же, как человек. Это ограничивает возможные сферы применения подобных нейросетей, подытожили исследователи.
О нейросетях GPT
За последние годы ученые значительно продвинулись в разработке систем искусственного интеллекта и создали нейросети, способные выполнять нетривиальные задачи и даже мыслить креативно. В частности, сейчас существуют нейросети, способные рисовать картины, анализировать тексты, проводить научные эксперименты и ставить медицинские диагнозы.
Одной из самых продвинутых систем ИИ такого рода является проект GPT-3, созданный в 2020 году американской исследовательской лабораторией OpenAI, и основанные на ее базе нейросети ChatGPT. Они представляют собой продвинутые языковые нейросетевые модели, которые способны использовать "большие данные" из глобальной сети для поиска ответов на различные вопросы, а также генерации статей и компьютерных алгоритмов.
Фото: © Costfoto/Barcroft Media via Getty Images
2 минуты
15 сентября 2023