Если кажется, что Google заваливает всех нас анонсами Gemini, то так оно и есть. На прошлой неделе компания провела ребрендинг своего ИИ-бота Bard в Gemini и представила Gemini Advanced. Вслед за этим анонсом выходит Gemini 1.5 - следующая ступень модели ИИ от Google. По словам Google, Gemini 1.5 построен на основе архитектуры Transformer и Mixture-of-Experts (MoE). По сравнению с традиционной архитектурой Transformer, которая представляет собой, по сути, одну большую нейронную сеть, модели MoE могут быть разбиты на множество "экспертных" нейронных сетей. Таким образом, в модели активируются только те пути, которые необходимы для решения конкретной задачи, что, по словам Google, гораздо эффективнее, чем стандартная модель. Первая версия Gemini 1.5, доступная тестерам, - Gemini 1.5 Pro. "Pro" - это название Google для своих LLM, которые лучше всего работают в самых разных задачах и на самых разных устройствах. Считайте, что это как GPT-3.5, модель, предназначенная для использования в наибольшем количестве приложений, а не в самых мощных.
Хотя 1.5 Pro имеет стандартное контекстное окно на 128 000 токенов (такое же, как GPT-4), Google утверждает, что в настоящее время тестируется контекстное окно до миллиона токенов, а также 10 миллионов, в отличие от 32 000 в 1.0 Pro. Чем больше токенов может запустить модель, тем больше может быть ваша запрошенная информация, а значит, тем больше запросов модель может обработать за один раз. По данным Google, 1.5 Pro может обрабатывать до одного часа видео, 11 часов аудио и кодовые базы, содержащие более 30 000 строк кода (или более 700 000 слов) за один раз. (Он также может обрабатывать отдельные запросы с более чем 100 000 строк кода). Сообщается, что 1.5 Pro лучше понимает большие объемы информации и может отвечать на сложные и конкретные вопросы о ней. В демонстрационном видеоролике Google показывает пример того, как 1.5 Pro загружает 402-страничные стенограммы миссии "Аполлон-11".
Затем она показала эскиз шагающего ботинка со стрелкой, указывающей на землю, и поинтересовалась у модели, о чем это изображение. Модель смогла определить, что на этом эскизе изображен момент, когда Нил Армстронг ступил на Луну. Она также может анализировать контент, как в немом кино, описывать происходящее и выделять небольшие моменты, которые большинство зрителей могут пропустить. Google утверждает, что 1.5 Pro превосходит 1.0 Pro на 87 % используемых тестов. Она также работает "на примерно одинаковом уровне" с 1.0 Ultra, моделью, на которой основан Gemini Advanced. Компания также довольна ее "контекстным обучением", при котором модель может брать информацию из текущего набора данных и применять ее по-новому, не нуждаясь в дополнительных подсказках.
Google проводит испытания Gemini 1.5 Pro через AI Studio и Vertex AI и ведет предварительную запись для заинтересованных разработчиков. Если вы действительно являетесь заинтересованным разработчиком, вы можете записаться в список ожидания. Как только Gemini 1.5 станет широко доступен через сервисы Google Gemini, вы сможете использовать 125 000 токенов бесплатно. Если вы хотите получить доступ к окну с миллионом токенов, это будет стоить вам недешево. (На данный момент цена неизвестна).