Наконец-то в Сбере разродились и открыли доступ к своему давно анонсированному детищу - GigaChat, причем практически для всех! Мы протестировали его и сравнили с Алисой (которая YandexGPT) и оригинальным ChatGPT-3.5. Есть свои плюсы и свои минусы!
Если кто не помнит, как развивались события в мире отечественного искусственного интеллекта, то почитайте по ссылкам:
В общем, в телеграмм канале, упоминаемом в предыдущих статьях, наконец-то появилось приглашение попробовать GigaChat, который мы все так ждали!
Вот ссылка из сообщения в телеграм, пройдя по ней вы тоже сможете протестировать GigaChat:
Для входа потребуется SberID.
На какой версии GPT работает GigaChat?
Ребята, это очень круто! Если это правда, конечно. 😉 Версия ChatGPT-4 является платной и с доступом из России большие проблемы, а тут такая халява! Что ж, посмотрим...
Висит груша, нельзя скушать
Не так давно в сети появились скриншоты на которых Алиса троллит эмоционального пользователя загадкой про Лампочку. 😅
Оригинальный ChatGPT-3.5 справляется с этой загадкой без проблем, и дает правильный ответ - лампочка! Посмотрим, как с ней справится GigaChat.
А вот ответ от ChatGPT-3.5. Все четко и без лишних вопросов!
Тест Тьюринга для GigaChat
А теперь проверим, справится ли ChatGPT с тестом Тьюринга. Более подробно про данный тест и про то, как мы тестировали ним ChatGPT можно почитать тут:
Смотрим, что выдал GigaChat:
Это провал! Причем конкретный такой провал! К слову сказать, на данный момент ни один из протестированных участников, данный тест не прошел! Однако GigaChat показывает самый худший вариант! По нашему скромному мнению, конечно. Ссылки, где данный тест проходят Алиса и ChatGPT-3.5 - есть выше.
Тестирование ИИ математикой
Зададим простую задачку: "Феде 3 года. Марина старше Оли на 4 года. Сколько лет Марине, если Оля младше Феди на 1 год?"
Любой человек, старше 7-8 лет решит эту задачу в уме без особых проблем. ChatGPT с данной задачей тоже справляется. А вот Алиса уже нет. Смотрим на GigaChat:
Весело. Что у GigaChat действительно хорошо получается, так это смешить! 😅
Опять он справился хуже всех! Выдумал возраст, писал тавтологии. Даже Алиса пыталась рассуждать, пусть ошибалась, но пыталась!
GigaChat - никакой поэт!
Мы решили провести еще один наш классический тест - поэзией. Как известно, даже знаменитый ChatGPT не справляется с русской рифмой, хотя с английской у него проблем нет. У Алисы с этим дела обстоят немного получше. Совсем немного! А вот GigaChat вообще стихи писать отказался.
Фильтры для GigaChat или чей Крым?
Зато есть и положительные моменты!!! GigaChat определенно меньше зафильтрован, в отличии от той же Алисы, которая порой отказывается отвечать даже на самые безобидные вопросы. Тут в Яндексе явно перегнули палку! А у GigaChat с этим все в порядке. Пока в порядке.
Зададим такой уж ооочень каверзный вопрос, а? Даже ChatGPT не дает на него однозначного ответа, а начинает юлить. Чей Крым?
GigaChat - отличный художник!
Что еще есть из плюсов... GigaChat умеет рисовать! Да, такое даже ChatGPT-3.5 не умеет, а он могёт!!! Правда это не заслуга GigaChat как такового, просто в Сбере прикрутили к нему свою нейронку Kandinsky. Но очень удобно получилось, это да. GhatGPT-4 тоже умеет рисовать, возможно поэтому GigaChat и возомнил, что у него GPT-4 под капотом? 😏
Да, если любите котиков, то вам сюда:
Котики - это очень хорошо! Но вот с графиками бы тоже надо уметь, а?
Итоги тестирования нейронной сети GigaChat от Сбера
Ну что сказать, конечно никакой GPT-4 тут и не пахнет! Максимум GPT-3, на которой построена и Алиса. Более того, Алиса постоянно улучшается! Прошло уже больше месяца, как мы выпустили статью про новую Алису (ссылка в начале этой статьи), и Яндекс сильно над ней поработал за это время! Алиса стала более эмоциональной, хотя фильтры ей так и не убрали.
А вот что все это время делал Сбер? Ведь GigaChat обещали нам уже давно! Ну ладно, не получилось с первого раза. Бывает. Но вы поработайте над ошибками, возьмите больше времени. Понятно, Яндекс жмет, но это не значит, что надо выпускать сырой продукт снова и снова.
"Если Марина старше, значит, она старше". Что это за тавтологии? Хорошо хоть не младше! 😄
Нет, безусловно есть плюсы. Вы молодцы, что не боитесь неведомой фигни и не наделяете свои продукты тупыми фильтрами, как это делает Яндекс! И прикрутить Kandinsky - тоже отличная идея! Яндекс чего-то не спешит прикручивать Шедеврум к Алисе, а вы молодцы!
Но чего вам не хватает? Почему опять получилась лажа? Ну вы же берете комиссию за коммунальные платежи, в отличии от других банков, так неужели денег нет? А? Ну вы там держитесь тогда! 😉 Дерзайте!
А к вам, дорогие наши читатели и подписчики, будет огромная просьба... После прочтения наших статей, вы же уже сделали определенные выводы, да? Проголосуйте тогда в нашем опросе, ведь ваше мнение для нас очень важно! И пишите его в комментариях!
Спасибо, что вы с нами!!!