Исследователи из некоммерческой организации по исследованию искусственного интеллекта LAION показали, что даже самые сложные большие языковые модели (LLM) можно поставить в тупик простым вопросом.
В статье, которая еще не прошла рецензирование, исследователи рассказали, как задавали разным моделям генеративного ИИ вопрос: «У Алисы есть [X] братьев, а также [Y] сестры. Сколько сестер у брата Алисы?».
Ответить не столь сложно. Например, у Алисы три брата и две сестры, значит, у каждого из братьев две сестры плюс сама Алиса. Таким образом, у каждого брата по три сестры.
Специалисты тестировали модели компании OpenAI: GPT-3, GPT-4 и GPT-4o; Anthropic Claude 3 Opus, Gemini от Google и модели Llama компании Meta*, а также Mextral от Mistral AI, Dbrx от Mosaic и Command R+ от Coher. Когда ИИ задали вопрос, то оказалось, что он явно не оправдывает ожиданий.
Только одна модель, новая GPT-4o, добилась успеха в логическом тесте. Остальные не могли понять, что Алиса тоже сестра каждого из братьев в ее семье.
* Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.