Сенсационный результат измерения когнитивных способностей GPT-3 в Институте Макса Планка
Энтузиасты и скептики больших языковых моделей, типа GPT-3, неистово и бессмысленно спорят, являются ли прорывные достижения сделанного на ее базе разговорного бота ChatGPT свидетельством наличия у бота искусственного интеллекта, сопоставимого с человеческим.
Бессмысленность спора в размытости определения интеллекта, которое у каждого свое, и разброс определений колоссален:
- от определения Линды Готтфредсон, «интеллект — это интегральная умственная способность, включающая в себя способность подводить итоги, планировать, решать задачи, мыслить абстрактно, понимать сложные идеи и быстро учиться на опыте»;
· до определения Эдварда Боринга, «интеллект — это то, что измеряет тест интеллекта».
Ситуация осложняется тем, что как ни крути, но нет никаких понятных оснований для появления у больших языковых моделей интеллекта, сопоставимого с человеческим.
Ведь единственное, что умеет GPT-3 (и сделанный на этой базе ChatGPT) — ловко предсказывать следующее слово, на основе огромной статистики образцов последовательностей слов в текстах, написанных людьми.
Однако! Лишь это умение позволяет ChatGPT отвечать на любые вопросы, а также писать рассказы, научные статьи и даже программировать (чего вполне хватает для сдачи некоторых экзаменов на уровне людей).
Но является ли это основанием говорить о появлении у ИИ (коим является GPT-3 и сделанный на ее базе ChatGPT) интеллекта, сопоставимого с человеческим?
Для ответа на этот вопрос, вспомним определение Грегори Тревертона, что «интеллект — это в конечном счете рассказывание историй» (такое определение объясняет, почему интеллект, разум и разведка в английском обозначаются одним словом Intelligence 😊)
Логика здесь такова.
- Как ни определяй интеллект, он предназначен для комплексного принятия решений в нетривиальных задачах.
- При выработке таких решений, помимо формального мышления, огромную роль играет повествовательное мышление (напр. в юриспруденции, при принятии решений присяжными, не формальное мышление, а нарратив играет решающую роль в том, как они оценивают доказательства и выносят вердиктные решения).
- Так почему бы превосходно развитым повествовательному и формальному мышлению ChatGPT не стать основой для появления интеллекта, сопоставимого с человеческим?
В германском Институте биологической кибернетики Макса Планка решили это проверить и провели исследование, чтобы сравнить когнитивные способности людей и GPT-3.
Проверить это исследователи решили, используя канонические психологические тесты людей, для проверки их навыков в принятии решений, поиске информации и причинно-следственных связях.
Результаты исследования, опубликованные в журнале Proceedings of the National Academy of Sciences, потрясают:
• ИИ решает задачи принятия правильных решения на основе описаний так же или лучше, чем люди.
• Еще более поражает то, что по этой способности ИИ не просто оказался, как минимум, на уровне людей, но и делает те же ошибки, что свойственны людям.
Причем тестировалась способность принятия правильных решений в задачах, описываемых виньетками: коротким описанием людей и/или ситуаций, реагируя на которые люди раскрывают свои представления, ценности, социальные нормы или собственные впечатления.
Ничего из названного у ИИ, казалось бы, быть не может. Но это не мешает ИИ принимать те же решения, что и люди.
В двух других когнитивных способностях ИИ не дотягивает до людей.
- При поиске информации GPT-3 не показывает признаков направленного исследования.
- В задачах на причинно-следственные рассуждения, GPT-3 на уровне малого дитя.
Но это пока. Авторы считают, чтобы сравняться с людьми по двум этим способностям, ИИ не хватает лишь активного общения с нами и с миром.
Но это быстро пройдет. Ведь уже миллионы общаются с ChatGPT.
А с принятием решений, человечество, похоже, уже приплыло.
#ИИ
________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях