Современные модели искусственного интеллекта, как рассказывают их разработчики, имеют огромные возможности в сфере обработки текстов, ответов на запросы пользователя и в решении наиболее сложных задач, с которыми большинство людей справиться не смогут. Однако эксперты из некоммерческой организации LAION наглядно продемонстрировали, что даже самые простые вопросы, адресованные нейросетям, могут ввести их в ступор.
Специалисты из некоммерческой организации, специализирующейся на исследовании современных технологий искусственного интеллекта, представили результаты своего недавнего исследования, в рамках которого был проведён достаточно интересный, но простой эксперимент.
В ходе проведения этого эксперимента специалисты задавали различным популярным моделям искусственного интеллекта один и тот же вопрос: «У Алисы есть [X] братьев, а также [Y] сестёр. Сколько сестёр у брата Алисы?».
Это достаточно простая загадка, которую решат даже многие учащиеся начальной школы. Ответить на него можно за несколько секунд. Например, предположим, что у Алисы четыре брата и три сестры. Это значит, что у каждого брата есть три сестры и сама Алиса, то есть четыре сестры.
В ходе проведения своего исследования специалисты протестировали следующие популярные большие языковые модели: OpenAI GPT-3, GPT-4 и GPT-4o, Anthropic Claude 3 Opus, Gemini, Llama, Mextral, Dbrx и Command R+. По словам авторов эксперимента, с этой простой загадкой смогла справиться только одна нейросеть — передовая модель американской компании OpenAI GPT-4o, выпущенная всего несколько месяцев назад. Все остальные тестируемые нейросети так и не смогли дать правильный ответ на эту загадку.
Ещё по теме: