Недавние тесты больших языковых моделей ИИ, таких как GPT-4 (OpenAI), Claude 3 (Anthropic), Gemini (Google), Bing Copilot (Microsoft), Grok (Илон Маск)и других показали, что самым «умным» оказался продукт от Anthropic. Журналист Максим Лотт решил проверить эти чат-боты на уровень IQ.
По словам исследователя, Claude 3 снова оказался самым «думающим», поскольку набрал 101 балл IQ, что выше, чем «у среднестатистического человека». Главный конкурент этого чат-бота, ChatGPT, основанный на GPT-4, набрал 85 баллов. К слову, компанию Anthropic основали бывшие сотрудники OpenAI, не согласившиеся сотрудничать с Microsoft.
Лотт тестировал ИИ с помощью картинок без текста, но все модели провалили тест. Потом журналист описал тестовые фото и боты прошли тестирование. По мнению Лотта, по закону Мура чат-боты уровня Claude 3 скоро смогут набирать более 140 баллов, что уже значительно выше средних показателей у людей.
Также примечательна история от разработчиков Claude 3, рассказавших, что в ходе тестирования своего продукта по целому ряду критериев, ИИ продемонстрировал «леденящий душу навык». Claude 3 не просто решил все когнитивные задачи, трудные и для человека, а понял, что его тестируют и начал вести диалог в этом контексте.