10,6 тыс подписчиков
Психологи выяснили, что нейросеть GPT-3 не уступает студентам в логическом мышлении
Психологи из США выяснили, что нейросеть GPT-3 не уступает людям в умении строить мысленные аналогии для решения новых задач на базе уже существующих знаний. Об этом в понедельник сообщила пресс-служба Калифорнийского университета в Лос-Анджелесе (UCLA). Работа опубликована в издании Nature Human Behaviour.
"Нас сильно удивило то, что языковые модели не только способны предугадывать слова в предложениях, но и логически "мыслить". Еще более удивительным было то, что GPT-3 не только столь же успешно справилась с задачами на мысленные аналогии, как и люди, но и при этом она совершала примерно те же ошибки при их решении, что и живые участники наших опытов", - рассказал профессор UCLA Лу Хунцзин, чьи слова приводит пресс-служба вуза.
Ученые пришли к такому выводу в ходе эксперимента, в рамках которого они сравнили умение студентов-добровольцев и нейросети GPT-3 решать логические задачи, которые часто используются в тестах IQ. В них входят такие задания, как поиск закономерностей в наборах фигур, рисунков или цифр, подбор аналогии, антонима или ответ на вопросы по тексту.
Ученые перевели одно из подобных испытаний, тест Равена, на понятный GPT-3 язык. Аналогичным образом исследователи проверили уровень интеллекта и способность мыслить 40 студентов калифорнийских вузов. Эксперимент включал еще несколько тестов, похожих на стандартизированный экзамен для приема в вузы.
Сравнение результатов тестов показало, что GPT-3 в целом не уступала студентам - система умела логически мыслить и успешно опиралась на предоставленные ей примеры для решения аналогичных задач, как и живые люди. При этом нейросеть превзошла средний уровень студентов в тесте Равена и в двух других проверках на интеллект, связанных с вербальными аналогиями и с умением находить закономерности в наборах символов, но при этом уступила студентам в умении работать со смыслом текста.
С другой стороны, ученые обнаружили, что GPT-3 не была способна решать очень простые задачи, связанные с физическими объектами, в частности, перелить воду из одного сосуда в другой. Как правило, с такими проблемами легко справляются даже маленькие дети, однако нейросеть оказалась неспособна найти решение. Это делает дальнейшее изучение механизмов логического "мышления" GPT-3 и их отличий от когнитивных способностей человека особенно интересным, отметили психологи.
О GPT-3
За последние годы ученые значительно продвинулись в разработке систем искусственного интеллекта и создали нейросети, способные выполнять нетривиальные задачи и даже "мыслить" креативно. В частности, сейчас существуют нейросети, способные рисовать картины, анализировать тексты, проводить научные эксперименты и ставить медицинские диагнозы.
Одной из самых продвинутых систем ИИ такого рода является проект GPT-3, созданный в 2020 году американской исследовательской лабораторией OpenAI. Он представляет собой продвинутую языковую нейросетевую модель, которая способна использовать "большие данные" из глобальной сети для поиска ответов на различные вопросы, а также генерации статей и компьютерных алгоритмов.
Фото: © Юрий Смитюк/ТАСС
2 минуты
1 августа 2023