И вот красивое доказательство. Тест Beninatto-Trombetti - это переводческий тест для профессиональных переводчиков. Он проверяет не буквальную замену слов, а умение понять контекст, изменить поверхностную форму и выйти за пределы дословного соответствия. Например, правильный перевод фразы: “Solo 3 parole: non sei solo” будет не: “Всего 3 слова: ты не один” а: “Всего 4 слова: ты не один.” Если модель действительно понимает предложение, она должна обновить и метаязыковое утверждение внутри него: в переводе слов становится уже не три, а четыре. Claude Fable 5, вероятно, одна из самых продвинутых LLM на сегодня. И всё равно она проваливает этот простой тест. До AGI всё ещё далеко.
Claude Fable 5 на самом деле не понимает текст. И вот красивое доказательство.
Тест Beninatto-Trombetti - это переводческий тест для профессиональных переводчиков. Он проверяет не буквальную замену слов, а умение понять контекст, изменить поверхностную форму и выйти за пределы дословного соответствия.
Например, правильный перевод фразы:
“Solo 3 parole: non sei solo”
будет не:
“Всего 3 слова: ты не один”
а:
“Всего 4 слова: ты не один.”
Если модель действительно понимает предложение, она должна обновить и метаязыковое утверждение внутри него: в переводе слов становится уже не три, а четыре.
Claude Fable 5, вероятно, одна из самых продвинутых LLM на сегодня. И всё равно она проваливает этот простой тест.
До AGI всё ещё далеко.
