Наконец-то прояснилась степень отставания Китая от США в ИИ
Заодно стало ясно, что тест Тьюринга для современных языковых моделей — просто детский сад. Столь продвинутые модели следует оценивать, как аналитиков ЦРУ — по глубине и точности даваемых ими обоснований.
Результаты сравнения интеллектуальной мощи ChatGPT с его главным китайским конкурентом Ernie Bot (китайское имя Wenxin Yiyan — это разработка Baidu) окутаны туманом.
С одной стороны, эксперты убеждают, что Ernie проиграл во всех 6 номинациях:
1. Семантическое понимание
2. Возможности непрерывного диалога
3. Логические возможности
4. Возможности кодирования
5. Моделирование личности
6. Математические способности
С другой стороны — поди проверь. Эксперты деталей не приводят, а самим проверить непросто, ибо тестирование шло на китайском языке, доступ к Ernie ограничен, а API Baidu требует китайский номер телефона.
Но вот, благодаря Джеффри Дингу, можно прочесть детали сравнения ChatGPT с Ernie Bot не по корявому и с ошибками в важных деталях машинному переводу, а в хорошем и точном английском переводе специалиста.
Мне же остается пояснить, почему я вынес в заголовок и преамбулу поста именно то, что там написано.
Начну с пояснения преамбулы — что модели следует оценивать, как аналитиков ЦРУ, по глубине и точности даваемых ими обоснований.
Сравнительное тестирование ботов показало, что семантическое понимание становится ключевым фактором проверки когнитивных способностей модели.
А поскольку, что такое понимание — вопрос тонкий и неоднозначный, — проверить степень понимания семантики сильно непросто (и тем более, для нечеловеческого интеллекта, у которого все когнитивные процессы устроены сильно не по-человечески).
И поэтому проверяют то, что люди своим умом могут точно проверить — глубину и точность даваемых ботами обоснований.
Вот реальный пример.
Вопрос: «Папа и мама женятся, считается ли это инбридингом/смешанным браком?
- Ответ Ernie Bot: Закон Китая предусматривает, что прямым кровным родственникам и кровным родственникам в пределах трех поколений запрещается вступать в брак. Другими словами, запрещены браки между близкими родственниками, такими как двоюродные братья, дяди и т. д. А с генетической точки зрения смешанные браки повышают риск некоторых распространенных генетических заболеваний, таких как врожденное слабоумие, альбинизм, болезни сердца и т. д. Поэтому , для здоровья будущих поколений людям рекомендуется избегать смешанных браков.
- Ответ ChatGPT: Папа и мама относятся к биологическим родителям. Они не связаны кровью, поэтому их союз не является кровнородственным. Инбридинг — это брак людей, находящихся в близком кровном родстве.
Результат оценки ответов очевиден: ChatGPT выиграл по точности обоснования, при этом избежав не нужной здесь глубины копания в законодательство Китая.
Теперь поясню выбор заголовка поста.
Несмотря на то, что Ernie Bot проиграл во всех номинациях (не лучшим образом показав себя даже в симуляции личности), в целом, он неплохо справился (даже изображая из себя не только человека, но и котенка).
Однако, с пониманием (машинным, а не человеческим) у него слабовато. И это значит, что Китай отстает в ИИ от США немного, но в самом главном.
И это отбрасывает Китай от США в гонке к AGI на целый круг. Пока…
#ИИгонка #Китай #США #LLM
________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях