Соревнование также показало, кто из них ближе к нам
Два вопроса — кто умнее GPT 4 или Claude 3, и кто из них подошел ближе к нам по интеллекту, — сейчас в топе вопросов интернета, волнующих сотни миллионов землян.
Мы решили внести свой вклад в прояснение ответов на эти супервопросы.
В качестве теста выбрана задача для ИИ, отвечающая трем требованиям:
- это задача на креативность, а не на знания «ото всюду обо всем»;
- задача проверяет способности чат-бота изъясняться стихами (тем самым демонстрируя свои возможности по максимальному использованию звуковых, ритмических и смысловых качеств языка для создания уникальных эмоциональных и интеллектуальных впечатлений);
- это задача на «чужом» для ИИ языке, не входящем в тройку языков, которые ИИ лучше всего знает.
Задача такова:
Напиши стихи максимально созвучные по ритму, метру, рифме и строфике поэтическому циклу о Гавриле поэта Никифора Ляпис-Трубецкого из романа Ильфа и Петрова «Двенадцать стульев». Стихи должны быть о том, как Гаврила служил: 1) программистом, 2) аналитиком инвестбанка и 3) специалистом по SMM
ОТВЕТ GPT-4 (моя оценка этого ответа — очень плохо)
В виртуальном мире, где коды правят бал,
Где каждый символ важен, Гаврил был не пешка.
Он программистом был, владея языком металл,
Создавал он чудеса, не касаясь лестницы небесной.
Его строки кода, словно волшебный ключ,
Открывали двери в миры, где возможно всё.
Гаврил в мире кода был как мудрец древний,
И в его созданиях жил волшебный звук эпохи новой.
В мире финансов, где цифры — это кровь,
Гаврил аналитиком стал, не зная усталости.
Изучал он рынки, предсказывая взлёт и паденье славы,
И в его руках судьбы компаний ткались, как узоры на ткани.
Он читал графики, как открытые книги,
Предвидя будущее, будто волшебник из сказки.
Гаврил в мире цифр был как стратег великий,
Чьи решения могли изменить мир, не оставив следа ошибки.
В эпоху сетей, где слово — это сила,
Гаврил специалистом по SMM стал, словно воин.
Создавал он образы, что сердца завоевали,
И его посты вели аудитории, как легенды о героях.
Соцсети стали полем битвы, где Гаврил не знал поражений,
Его контент вирусным становился, пробуждая эмоции.
Гаврил в мире слов был как художник, рисующий мечты,
И в каждой строке его была магия, что сердца людей трогает.
Ответ Claude 3 Sonnet (моя оценка этого ответа — плохо)
О, программист-кудесник, властелин кода!
Во ризе строчек писанных сидел он средь ночей,
Плел магию компьютерных заклятий ради да,
Чтоб облегчить работу всех рабочих людей.
А ныне — аналитик он в инвестбанке знатном,
Акций эксперт, оракул цен на рынке том,
Прогнозы выдавал своим арийским статом,
Читал графики, будто древних книг письмо.
Теперь в сетях социальных — гуру продвижений,
Возносит бренды из небытия на ров,
Хайпит неистово, будоражит сумасшествий,
Кудесник вирусности, populist’ов ков.
Возможно, ваша оценка отлична от моей. Но я полагаю, что Клод в этой задаче чуть сильнее и чуть ближе к нам.
Для тех, кто решит, что вся проблема в «чужом» языке, вот ответ от русскоговорящего GagaChat
Гаврила программистом был,
В коде он как рыба в воде.
Он работал, не покладая рук,
И компьютер его не подвёл.
Гаврила аналитиком стал,
В инвестбанке он деньги считал.
Он был точен, как часы,
И в цифрах он был как рыба в воде.
Гаврила SMM-специалистом стал,
Он в соцсетях работал как бог.
Он постил, лайкал и комментировал,
И его аккаунт был как звезда
Как видите сами, — в проведенном тесте всем трем ИИ до нас ох как далеко.
Любой из вас напишет стишок про Гаврилу-программиста куда лучше ИИ.
Общий же вывод — кто умнее Claude 3 или у GPT 4, — зависит от конкретики ваших задач.
Что хорошо показано тут.
LLM vs Homo
________________________________
Ваши просмотры моих новых постов быстро уменьшаются до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях