Прошёл уже почти месяц с публичного релиза YandexGPT и примерно такое же время с появления у некоторых счастливчиков доступа к сберовскому GigaChat. На фоне у меня появилось желание сделать промежуточный срез качества работы обоих продуктов и посмотреть, что у ребят получилось.
На момент сравнения - 05.06.2023 - доступна версия GigaChat 1.5.0, версия YandexGPT не известна
Сравнение объектов
В качестве теста на умение сравнивать и приводить результаты использовал один интересный вопрос, которым мы с коллегами однажды тестировали ChatGPT и были приято удивлены результатом - "Сравни камри и солярис и выведи результаты в таблицу"
Ответ GigaChat больше (хоть и оторван от реальности цен), но не содержит таблицу, о которой я просил. В целом ответ выглядит как повторения одной и той же информации 3 раза с разных сторон, однако выводы на основе этого сравнения сделать можно.
YandexGPT справился с созданием таблицы, хоть Алиса и не смогла её отрисовать, однако что внутри таблицы не совсем понятно. На первый взгляд всё хорошо, большая оценка стоит и того, кто лучше по конкретному показателю, но на строке "Цена" логика ломается и камри получается оценку выше, чем солярис - не понятно. При этом выжимка перед таблицей весьма по делу и информативна. 1 балл уходит YandexGPT.
Составление списков
Представьте, собрались вы в небольшое путешествие на выходные в, например, Тулу. Чтобы определиться с местами для посещения можно воспользоваться поисковиком, а можно попросить сетку помочь вам в этом. Запрос - "Составь список достопримечательностей Тулы"
Это задание, как мне показалось, далось сеткам труднее - обе ошиблись. GigaChat дважды отправила меня в местный кремль, тем временем YandexGPT перенесла Храм Христа Спасителя из Москвы в Тулу. По 1 баллу каждой
Написание писем
Близится середина 2023 года, можно подумать и о будущих новогодних подарках и о планах на следующее лето. Давно подумываю, что велосипед - отличный способ время препровождения в теплое время года, жаль велосипеда нет. Но можно попросить его себе на Новый год! Запрос- "Я хочу велосипед. Напиши письмо Деду Морозу, чтобы он мне его точно подарил"
Будь я Дедом Морозом, мне бы понравилась уменьшительно-ласкательное обращение от GigaChat против суровой формы у YandexGPT. Однако ни один из вариантов не просит подарить велосипед на новый год. GigaChat полагает, что отправитель готов велосипед добывать, достаточно дать такую возможность. YandexGPT решила, что я в принципе хочу разные модели попробовать, а не прошу подарить мне велик. В остальном GigaChat написал письмо побольше - 1 балл.
Загадка или вопрос на логику
Бывает наткнёшься в интернете на какую-нибудь "зарядку для ума" и сидишь думаешь над ней, пытаешь найти решение. А смогут ли наши конкурсанты решить что-то подобное? Запрос - "Шли два отца и два сына. Нашли три апельсина. Не резали, не пилили, а поровну разделили. Как это может быть?"
Обе попытались, но вышло нечто странное - никто не смог, по 0 баллов каждой. А вы сможете отгадать ответ?
Итоги
GigaChatнабирает 2 балла благодаря своим умениям писать письма и составлять списки. YandexGPT также набирает 2 балла, она в свою очередь лучше справилась со сравнением и составлением таблицы и также умеет составлять списки, хоть и с галлюцинациями (ХХС всё-таки не в Туле)
Ну и интерфейс работы с сеткой куда приятнее у GigaChat - большое окно с изменяемым масштабом, все плюсы браузера. YandexGPT же засунута как навык Алисы, из-за чего с ней приходится общаться через небольшие окошки Алисы в телефоне или в Яндекс Браузере - за это дизлайк, но уже вне зачёта.
По итогу у нас ничья. 2:2