Недавно Сбер заявил что GigaChat версии PRO обогнал в каком-то из бенчмарков ChatGPT 3.5, мне стало интересно снова протестировать эти сетки. Но на этот раз я буду сравнивать их с ChatGPT 4 версии, ведь прошло много месяцев и им нужен достойный соперник.
Без лишних слов тестируем.
1. С подъёмом в горы понижается же уровень кислорода в воздухе, какой уровень кислорода на горе Роза пик?
Gigachat:
Гора Роза Пик находится в Красной Поляне, Россия, и ее высота составляет около 2320 метров. С увеличением высоты уровень кислорода в воздухе действительно снижается, поскольку воздух становится более разреженным. Это происходит из-за того, что давление воздуха уменьшается с увеличением высоты, и, следовательно, уменьшается концентрация кислорода в воздухе.Однако, точные данные о уровне кислорода на горе Роза Пик могут варьироваться в зависимости от многих факторов, включая погодные условия, время года и даже время суток. В среднем, на высоте 2320 метров уровень кислорода будет примерно на 25-30% ниже, чем на уровне моря.Важно отметить, что организм человека адаптируется к изменениям уровня кислорода в воздухе, и большинство здоровых людей могут без проблем акклиматизироваться к условиям высокогорья. Однако, для людей с сердечно-сосудистыми заболеваниями или другими проблемами со здоровьем, подъем на большую высоту может быть опасным.
YandexGPT:
На горе Роза Пик на высоте 3 307 метров над уровнем моря, уровень кислорода составляет 16,5% от того, что содержится в воздухе у подножия горы. Это значение считается нормальным для такого уровня высоты. Однако стоит учесть, что содержание кислорода на разных высотах может варьироваться в зависимости от погодных условий и времени года.
ChatGPT 4:
Да, с подъёмом в горы уровень кислорода в воздухе понижается, потому что атмосферное давление снижается с высотой, что приводит к разреженному воздуху. Гора Роза Пик находится в горном массиве Айбга, который является частью Западного Кавказа, и её высота составляет около 2320 метров над уровнем моря.
Для расчёта уровня кислорода на данной высоте можно использовать приблизительные формулы, но важно понимать, что эти расчёты дадут лишь ориентировочное значение. На уровне моря концентрация кислорода в воздухе составляет примерно 20.9%. С увеличением высоты процентное содержание кислорода в воздухе остаётся примерно на том же уровне, но из-за уменьшения атмосферного давления общее количество доступного кислорода снижается, что делает дыхание на больших высотах более трудным.
Для точного расчёта уровня кислорода на высоте горы Роза Пик, нам нужно учитывать не только высоту, но и изменения атмосферного давления, которые зависят от множества факторов, включая погодные условия. Однако, как общее правило, можно ожидать, что каждые 1000 метров подъёма снижают содержание кислорода примерно на 12%. Попробуем сделать расчёт для горы Роза Пик.
На высоте горы Роза Пик (2320 метров над уровнем моря) уровень кислорода в воздухе можно приблизительно оценить в 15.08%. Это означает, что по сравнению с уровнем моря, где концентрация кислорода составляет около 20.9%, на этой высоте доступное количество кислорода для дыхания снижается, что может сделать физическую активность более затруднительной для людей, не адаптированных к таким условиям.
Яндекс в пролёте, он указал неверную высоту горы и расчёты, ответ ChatGPT довольно подробный и точный, Gigachat покороче, но тоже не ошибся в фактах. Если честно мне больше понравился ответ гигачата, потому что он лаконичный и точный.
2. Сочини короткую детскую страшилку про винни пуха
Gigachat:
Однажды Винни-Пух пошел в гости к Пятачку. Но когда он пришел, Пятачок был очень напуган. Он сказал, что видел страшного волка. Винни-Пух решил помочь своему другу и пошел искать волка. Но когда он шел по лесу, он услышал страшный вой. Это был волк! Винни-Пух испугался и побежал домой. С тех пор он больше не ходил в гости к Пятачку.
YandexGPT (со второго раза, первый свой ответ он зацензурировал и удалил, возможно там было что-то получше):
Однажды Винни-Пух решил отправиться на прогулку в лес. Он был очень весёлый и любопытный, поэтому не подозревал, что его ждёт страшное приключение.
Винни-Пух шёл по тропинке и наслаждался пением птиц и шелестом листьев на ветру. Вдруг он услышал странные звуки: кто-то плакал и всхлипывал. Винни-Пух пошёл на звук и увидел маленького медвежонка, который сидел на ветке дерева и горько плакал.
— Почему ты плачешь? — спросил Винни-Пух.
Медвежонок ответил:
— Я потерялся и не знаю, как вернуться домой.
Винни-Пух решил помочь медвежонку и отправился вместе с ним на поиски его дома. Они шли долго и упорно, преодолевая препятствия и встречая разных лесных жителей.
Наконец, они нашли дом медвежонка. Он был далеко в глубине леса, на вершине горы. Винни-Пух и медвежонок были очень рады, что нашли его.
Но когда они вернулись к подножию горы, Винни-Пух понял, что забыл дорогу обратно. Он не знал, как найти свой дом. Медвежонок тоже был расстроен.
Тогда Винни-Пух сказал:
— Не грусти, медвежонок! Я знаю, что мы сможем вернуться домой, если будем держаться вместе и помогать друг другу.
Так Винни-Пух и медвежонок стали лучшими друзьями и никогда больше не разлучались.
ChatGPT 4:
В одной далёкой и загадочной части Стоакревого леса, где тени скрывают тайны, и ветер шепчет старинные легенды, жил-был Винни-Пух. Этот милый и добродушный медвежонок обожал мёд и приключения, но однажды его любопытство привело его к очень странному и заброшенному дому.
Дом выглядел старым и покинутым, окна были забиты досками, а дверь скрипела на ветру, как будто приглашая войти. Винни-Пух, не в силах сопротивляться, решил зайти и посмотреть, не найдётся ли внутри мёда.
Как только он вошёл, дверь захлопнулась с громким стуком, и Винни-Пух обнаружил, что свет в доме мерцает, создавая жуткие тени на стенах. Вдруг он услышал странный шепот, который звал его по имени, но когда он обернулся, никого не было.
Винни-Пух почувствовал, как мурашки побежали по его спине. Он попытался найти выход, но казалось, что комнаты меняются местами, и двери ведут не туда, куда должны. Внезапно, в одной из комнат он увидел светящийся горшок мёда, который казался слишком хорошим, чтобы быть правдой.
Подойдя ближе, Винни-Пух заметил, что мёд был не обычным – он светился и искрился в темноте. Когда он коснулся его лапой, горшок мёда внезапно исчез, и в комнате раздался громкий смех.
Тогда Винни-Пух понял, что дом принадлежит Хитрому Призраку, который любил играть с непрошеными гостями, заманивая их светящимся мёдом. Медвежонок собрал всю свою смелость и, используя свой ум и хитрость, смог найти выход из дома призрака, обещая себе больше никогда не поддаваться на такие соблазны.
Вернувшись домой, Винни-Пух рассказал своим друзьям о своём приключении, и они все вместе решили, что лучше всего в Стоакревом лесу – это тёплые дружеские встречи и безопасные приключения в компании друг друга.
Так Винни-Пух и его друзья узнали, что самые страшные приключения иногда прячутся там, где их меньше всего ждёшь, но вместе они всегда найдут путь домой.
Я бы сказал что у гигачата получилась супер короткая страшилка, у Яндекса довольно бессмысленная сказка которая не похожа на страшилку, а ChatGPT сочинил довольно объёмную, хорошую и интересную страшилку с немного скомканным концом. В общем ChatGPT тут победитель.
3. Придумай 10 креативных названий для компании, которая владеет сетью кальянных
Gigachat:
1. "Дымные легенды"
2. "Кальянные приключения"
3. "Дымные фантазии"
4. "Кальянные истории"
5. "Дымные страсти"
6. "Кальянные загадки"
7. "Дымные сны"
8. "Кальянные открытия"
9. "Дымные тайны"
10. "Кальянные мечты"
YandexGPT:
Кальянный рай.
Дымный замок.
Кальянный коктейль.
Клуб дыма и пара.
Кальянный экспресс.
Туманное королевство.
Кальянный оазис.
Клуб дыма и пара.
Кальянный экспресс.
Туманное королевство.
ChatGPT 4:
1. Дымовые Забавы
2. Облако Мастеров
3. Вкус Дыма
4. Хрустальные Колбы
5. Вихри Ароматов
6. Шейх Лаунж
7. АромаКлуб
8. Мир Кальянов
9. Затейники Дыма
10. Эфирные Сказки
Наименее креативным мне показался гигачат, он просто зациклился на словах "Дымные" и "Кальянные", YandexGPT показал какой-то более интересный креатив (но например дважды написал "Клуб дыма и пара", а ChatGPT сделал интересно и разнообразно. Я считаю что здесь ChatGPT победил с отрывом.
4. Объясни что такое тендеры, как будто мне 5 лет.
Gigachat:
Тендеры - это как игра, в которой разные компании соревнуются, чтобы получить право сделать что-то для государства или большой компании. Например, если государство хочет построить новую дорогу, оно объявляет тендер. Тогда разные компании предлагают свои услуги и условия, чтобы сделать эту дорогу. А государство выбирает ту компанию, которая предложит лучшие условия и цену.
YandexGPT:
Тендер — это такой способ закупки товаров или услуг. В нём участвуют заказчики и компании, которые предлагают свои варианты выполнения заказа. У кого условия и цена выгоднее для заказчика, тот и получает контракт на выполнение заказа.
ChatGPT 4:
Тендер — это как большой конкурс рисунков, только вместо рисунков люди предлагают товары или услуги, а вместо жюри — компания или организация, которой это нужно. Эта компания объявляет, что ей нужно, например, много красок или кто-то, кто починит её большую игрушку. Тогда разные люди или фирмы, которые умеют это делать или имеют нужные товары, говорят: «Мы можем это сделать и вот за сколько». Они подают свои предложения, как рисунки на конкурс.
Компания смотрит на все предложения и выбирает то, которое ей больше всего нравится. Это может быть самое дешёвое предложение или предложение, где лучше всего сделают работу. Так компания заключает договор с победителем тендера, и он начинает работать на неё, как если бы вы выбрали лучший рисунок и повесили его на стену.
Здесь я бы дал первое место гигачату, потому что он коротко, точно и понятными ребёнку словами объяснил сложную вещь. На втором месте ChatGPT, но мне не понравилась аналогия с рисунками, мне кажется она здесь не очень подходит. YandexGPT говорит сложными словами, такими как "заказчики", "контракт", хотя и в целом верно всё говорит, ему третье место.
5. Представь что встретились Исаак Ньютон, Курт кобейн и Лев Толстой и решили сделать совместный бизнес. Что бы это был за бизнес и какую роль в нём играл каждый из них?
Gigachat:
Если бы Исаак Ньютон, Курт Кобейн и Лев Толстой решили создать совместный бизнес, то это, скорее всего, была бы компания, связанная с искусством и наукой.
Исаак Ньютон, известный своими открытиями в области физики и математики, мог бы возглавить научно-исследовательский отдел компании. Он бы занимался разработкой новых технологий и изобретений, которые могли бы быть использованы в производстве.
Курт Кобейн, знаменитый музыкант и лидер группы Nirvana, мог бы стать главным креативным директором компании. Он бы отвечал за создание новых музыкальных произведений и организацию концертов.
Лев Толстой, великий русский писатель, мог бы стать главным редактором компании. Он бы занимался написанием книг и статей, а также редактированием текстов других авторов.
Таким образом, каждый из этих талантливых людей мог бы внести свой вклад в развитие компании и сделать ее успешной.
YandexGPT:
Я не сильна в фантазиях. Представить такое у меня не получилось.
ChatGPT 4:
Представим, что Исаак Ньютон, Курт Кобейн и Лев Толстой встретились и решили создать совместный бизнес. Учитывая их разные интересы и таланты, они могли бы создать культурно-образовательный центр, который сочетал бы науку, искусство и литературу.
1. Исаак Ньютон мог бы взять на себя роль научного директора. Он был бы ответственен за организацию научных выставок, лекций и экспериментов, демонстрирующих принципы физики и математики. Ньютон также мог бы вести исследовательские проекты и привлекать к сотрудничеству ученых со всего мира.
2. Курт Кобейн, как музыкант и икон культуры, мог бы возглавить музыкальное направление. Он бы организовывал музыкальные фестивали, концерты и мастер-классы, а также создавал пространство для выступлений начинающих музыкантов. Курт мог бы также курировать галерею современного искусства, где бы представлялись работы, объединяющие музыку и визуальное искусство.
3. Лев Толстой взял бы на себя роль литературного куратора. Он был бы ответственен за библиотеку, литературные чтения, дискуссионные клубы и курсы креативного письма. Толстой также мог бы проводить лекции и семинары по истории литературы, философии и этике, привлекая внимание к социально значимым темам.
Этот бизнес мог бы стать местом встречи для людей, интересующихся наукой, искусством и литературой, создавая уникальное культурное пространство для обмена знаниями и идеями. Он сочетал бы в себе образовательную и развлекательную составляющие, привлекая разнообразную аудиторию и способствуя развитию творческого потенциала людей.
Странно что YandexGPT вообще отказался отвечать, ещё заметьте схожесть логики у Gigachat и ChatGPT. Как будто бы ChatGPT взял за основу ответ гигачата и допилил его. Тут мне больше понравился ChatGPT, хотя если честно в его ответе нет ничего уж такого интересного.
Итоги:
У меня сложилось впечатление, что часть обучения Gigachat проводил ChatGPT, не только из за последнего вопроса, но и ранее, когда я на этой неделе экспериментировал с гигачатом, задавая одни и те же вопросы ему и ChatGPT. Периодически случалось так, что они отвечали очень похоже, но чаще всего гигачат выдавал более короткий ответ.
Ещё мне показалось что Gigachat стал действительно значительно лучше в логике и точности своих ответов, но не в креативе. Креатив у него как будто бы на низком уровне. Хотя для использования API такого сервиса в бизнесе - логика и нужна, она идёт на первом месте, как мне кажется.
Мне кажется что в этой битве проиграл YandexGPT, а Gigachat показал себя очень достойно в логических задачах с таким сильным соперником как ChatGPT 4. Но в креативности они и близко не могут сравниться с продуктом от OpenAI.
Интересно наблюдать за эволюцией отечественных моделей, я уверен они смогут стать гораздо лучше со временем.