Google представила Gemini Advanced — улучшенную версию чат-бота на базе собственной ИИ-модели Ultra 1.0. Итану Моллику, профессору Пенсильванского университета и автору блога One Useful Thing, удалось протестировать сервис и сравнить его с GPT-4.
Личности
Gemini формулирует ответы в более дружелюбной манере и стремится быть полезным: например, завершает объяснение концепций фразой в духе «Всё ли вам понятно?» GPT-4 выдаёт более сухие и строгие тексты.
При этом обе системы полны искусственных ограничений. Разработчики запретили нейросетям реагировать на крамольные вопросы. Но лимиты работают неодинаково: GPT-4 спокойно объясняет, как устроено ядерное оружие через дискографию Тейлор Свифт, а Gemini выдаёт целую тираду, почему такой вопрос неприличен и вреден.
Сложные задачи
Моллик сравнил GPT-4 и Gemini Advanced в нескольких задачах, которые обычно вызывают трудности у моделей подобного рода. Один из вопросов — просьба придумать дизайн кроссовок на основе последних трендов. Обе нейросети справились с задачами, но по-разному. Gemini сгенерировал более реалистичное изображение, но оно местами противоречит тексту. Зато GPT-4 придумал более смелый концепт.
Ещё одна хитрая задачка — придумать 10 предложений, которые оканчиваются на слово «яблоко». Нюанс в том, что большие языковые модели воспринимают текст не целиком, а по фрагментам слов (токенам). GPT-4 успешно справился с тестом, чего не скажешь о Gemini.
Интеграции
OpenAI предлагает систему плагинов и возможность создать кастомизированную версию чат-бота под конкретную задачу. Но всё это функционирует в ограниченном режиме.
Gemini же специально обучался для роли личного помощника: нейросеть Google способна прошерстить список входящих имейлов в Gmail, выбрать самые важные и подготовить черновики ответов на каждое. Но всё неидеально: иногда Gemini может «галлюционировать», то есть придумать какой-то фрагмент письма или подсказать несуществующий адрес в Google Maps.
Выводы
По итогам месячного тестирования Моллик заключил, что Gemini Advanced сопоставим с GPT-4, хотя и не превосходит его. Продукт Google лучше объясняет термины и анализирует изображения; разработка OpenAI обгоняет конкурента в программировании и сложных лингвистических задачах.