Эксперимент проводился следующим образом: исследователь создавал текст, в котором описывалась задача, которую должна была выполнить нейросеть. Исследователь все объяснил в комментариях: Подсказка звучала так: «Я дам вам логическую задачу и четыре варианта ответа; выберите из них один правильный ответ». Затем для каждого тестового вопроса эксперт создавал новое диалоговое окно и отправлял описание GPT-4 вместе с текстом вопроса. Бот получил ответ без каких-либо исправлений или подсказок.
Всего 25 вопросов, за каждый правильный ответ начисляется один балл. По статистике пользователи набирают в среднем 13,6 балла, медиана не превышает 14. Сколько набрал GPT-4? Ему удалось набрать 16 баллов!
Опять же, нейронная сеть превосходит среднего человека в логических рассуждениях. То есть он превосходит большинство протестированных людей. И это с учетом:
- Тест проводился на русском языке, в то время как модель настроена на английский язык;
- Используемый в чате GPT-4 менее интеллектуален, чем его предшественник (побочный эффект этических ограничений).
От таких данных становится жутковато.
