Найти в Дзене
OVERCLOCKERS.RU

Google Gemini cможет распознавать содержимое экрана и вкладок

Gemini теперь может знать о вас все, благодаря новой экспериментальной функции, которую Google тестирует на некоторых устройствах.

Теперь, благодаря проекту Astra международной технологической компании, Gemini может получить доступ к вашему экрану в режиме реального времени, либо к конкретному приложению, либо ко всем сайтам, которые вы просматриваете, чтобы полностью интегрироваться в качестве помощника с искусственным интеллектом.

Об этом сообщил на Reddit один из пользователей, показав скриншот, на котором видны две новые кнопки, такие как «Поделиться экраном с Live» и «Спросить об этом экране».

Судя по комментариям пользователей на Reddit, это доступно только в пробном режиме для тех, кто приобрел тарифный план Gemini Advanced или имеет аккаунт Google One, по крайней мере, в США.

Это большое изменение, которое представляет собой следующий шаг для ассистентов с искусственным интеллектом, поскольку раньше Gemini мог распознавать только статичные изображения, а теперь он может понимать все, что видит.

-2

Однако это не уникальная функция для ИИ-ассистента Google: в конце прошлого года Microsoft последовала ее примеру, выпустив Copilot Vision, позволяющую этому интеллектуальному помощнику получать информацию в реальном времени, но пока только в Microsoft Edge.

Что касается Google, то, как видно из демонстрации Gemini Vision на Reddit, ассистент взаимодействует с пользователем в режиме реального времени и может ответить на любые вопросы о том, что отображается на экране.

Хотя Google официально не подтвердила, какие функции появятся в конечном итоге и когда будет объявлена дата их внедрения, пользователь собрал все, что мог сделать, основываясь на экспериментальных изменениях. Пользователь смог получить доступ к ним через телефон Xiaomi, хотя новые функции всегда появляются сначала на устройствах Galaxy от Samsung или Pixel от Google. Кроме того, не все пользователи могут получить к ним доступ, и, похоже, это скорее ошибка запуска со стороны Google.

📃 Читайте далее на сайте

Google
89,1 тыс интересуются