Обзор
Осведомленность о содержимом экрана — это ожидаемая функция, которая позволит вам спрашивать Siri информацию о том, что в данный момент отображается на экране вашего iPhone. Однако, если ваш iPhone поддерживает Apple Intelligence, вы уже сейчас можете делать именно это.
Что такое осведомленность Siri о содержимом экрана?
Когда Apple продемонстрировала, что войдет в iOS 18, одним из обновлений для Siri стало добавление осведомленности о содержимом экрана. По словам Apple, Siri сможет выполнять действия на основе информации, которая в данный момент представлена на экране вашего iPhone.
Пример, который привела Apple, заключался в том, что если друг отправил вам сообщение с вашим новым адресом, вы можете сказать Siri: "Добавь этот адрес в его контакт," и Siri сможет извлечь информацию об адресе с экрана и добавить её в соответствующий контакт.
Существуют два этапа этого процесса. Во-первых, это возможность для Siri выполнять действия в нескольких приложениях, извлекая текст из Сообщений и передавая его в Контакты. Это пока еще невозможно и ожидается в следующем году в рамках iOS 18.4.
Вторая часть процесса заключается в том, что Siri сможет получать доступ к информации, которая в данный момент отображена на вашем экране. Эта функция ожидается в iOS 18.4, но если ваш iPhone поддерживает Apple Intelligence, вы уже можете использовать Siri для извлечения информации из того, что отображается на вашем экране.
Как получить осведомленность о содержимом экрана с помощью Siri
Чтобы получить информацию с вашего экрана, вам нужно использовать iPhone, который поддерживает Apple Intelligence. Дело в том, что Siri не может извлечь информацию с вашего экрана самостоятельно; она нуждается в помощи ChatGPT. С выходом iOS 18.2 ChatGPT теперь интегрирован с Siri для iPhone, который поддерживает Apple Intelligence, в настоящее время это только модели iPhone 15 Pro, iPhone 15 Pro Max и iPhone 16.
Если ваш iPhone поддерживается, все, что вам нужно сделать, это использовать в вашем запросе к Siri что-то, что указывает на то, что вы хотите получить информацию с текущего экрана. Например, вы можете сказать "Подведи итог информации на этом экране" или "Опиши, что ты видишь на моем экране iPhone". Если у вас возникают трудности, начните свой запрос с "Спроси у ChatGPT".
После этого Siri спросит вас, хотите ли вы отправить экранный снимок вашего экрана в ChatGPT. Нажмите "Отправить", и изображение вашего экрана будет проанализировано ChatGPT, и будет сгенерирован ответ на ваш запрос.
Процесс становится еще более впечатляющим, когда на вашем экране отображается изображение. В этом случае вам даже не нужно упоминать о вашем экране. Если, например, ваш iPhone показывает фотографию животного, вы можете просто спросить: "Какое это животное?" и Siri задаст вопрос, хотите ли вы отправить экранный снимок в ChatGPT.
Запросы к ChatGPT обрабатываются в облаке, поэтому стоит быть осторожным при использовании этого метода, если на экране вашего iPhone отображается какая-либо конфиденциальная информация.
Запрос информации у Siri с веб-страницы
Использовать этот трюк может быть очень полезно, и лучшая часть заключается в том, что ChatGPT может извлекать информацию не только из текста веб-страницы, который виден на экране, но и с самой страницы, включая текст, для которого нужно прокручивать вверх или вниз.
Если вам нужно получить контактную информацию с веб-страницы, например, информация не обязательно должна быть отображена на вашем экране, если она где-то на странице.
Откройте веб-страницу, с которой вы хотите извлечь информацию. В этом примере я хочу найти часы работы ресторана. Проезд через окно работает 24 часа, но часы работы ресторана, указанные ниже, не видно без прокрутки вниз. Siri сможет извлечь эту информацию с помощью ChatGPT, даже если часы в данный момент не отображаются на экране iPhone.
Активируйте Siri, нажав и удерживая боковую кнопку или сказав "Siri" или "Эй, Siri". Спросите что-то вроде "Получить часы работы бизнеса, отображенного на моем экране."
Когда Siri спросит, хотите ли вы отправить экранный снимок в ChatGPT, нажмите "Снимок экрана" и выберите "Полный контент". Это будет включать всю информацию на веб-странице, включая контент, который не виден на экране.
Нажмите "Отправить", и экранный снимок будет отправлен в ChatGPT. Через некоторое время ваш ответ появится, и Siri прочитает его вслух.
Запрос информации у Siri о фотографии
Вы также можете заставить Siri использовать ChatGPT для анализа фотографий, которые отображаются на вашем экране. Например, если вы сделали фотографию пингвинов в зоопарке, вам может быть интересно, какой это вид пингвинов. Вы можете открыть фото и спросить Siri, а ChatGPT сделает остальное.
Откройте фотографию, которую вы хотите проанализировать. Скажите что-то вроде "Какой это вид?" Siri спросит, хотите ли вы отправить фотографию в ChatGPT. Нажмите "Отправить", чтобы подтвердить.
ChatGPT проанализирует изображение, и через мгновение даст ответ, который будет прочитан вслух Siri.
Если вы используете этот метод, ваша фотография будет отправлена на серверы ChatGPT. Вам следует учесть это, если вы не хотите, чтобы фото покинуло ваше устройство.
Получение резюме текста от Siri
Если у вас нет времени читать длинный текст, вы можете использовать этот метод, чтобы получить от Siri резюме с помощью ChatGPT. Для веб-страниц вы можете выбрать полный контент, чтобы получить резюме всей веб-страницы, а не только видимой части, но это невозможно с текстовыми файлами. Тем не менее, возможно значительно уменьшить размер шрифта прежде чем ChatGPT не сможет его прочитать, что означает, что вы можете поместить довольно много текста на экран вашего iPhone.
Откройте документ или веб-страницу, которую вы хотите резюмировать. Активируйте Siri и скажите что-то вроде "Попросите ChatGPT подвести итог этому тексту".
Когда всплывающее окно появится, если ваш текст взят с веб-страницы, нажмите "Снимок экрана" и выберите "Полный контент".
Нажмите "Отправить", и снимок экрана будет отправлен в ChatGPT. Через некоторое время появится ответ.
Запрос живых изображений с вашей камеры
Если у вас есть iPhone 16, вы можете использовать кнопку управления камерой, чтобы получить информацию о том, что вы видите на экране камеры, используя функцию под названием визуальный интеллект. Однако пользователи iPhone 15 Pro и iPhone 15 Pro Max могут получить аналогичный опыт, просто используя приложение Камера, наводя на объект и затем спрашивая Siri о нем.
Если у вас нет одной из этих моделей, есть другой способ, который может дать вам аналогичный опыт визуального интеллекта.
Откройте приложение Камера и наведите на объект, чтобы он отображался в видоискателе. Активируйте Siri и спросите что-то вроде "Что это за объект?"
Когда всплывающее окно появится, нажмите "Отправить", чтобы отправить изображение в ChatGPT для анализа. После этого ChatGPT даст ответ, который Siri прочитает вслух.
Изображение с вашей камеры будет отправлено на серверы ChatGPT, поэтому этот метод не рекомендуется использовать, если ваше изображение содержит что-либо конфиденциальное.
Другие способы использования осведомленности Siri о содержимом экрана
Когда "настоящая" осведомленность о содержимом экрана появится в iOS 18.4, это должно сделать процесс еще проще. Но даже сейчас вы можете сделать много чего с помощью этого трюка. Например, вы можете открыть веб-страницу продукта и спросить о отзывах или предложениях альтернативных продуктов. Вы можете спросить о сокращении в тексте, который читаете, или получить определения сложных слов, в произношении которых вы не уверены.
Вы даже можете использовать этот метод для перевода текста с изображения или веб-страницы или попросить ChatGPT проверить, является ли статья, которую вы читаете, точной.
Что Siri не сможет сделать, пока не появится настоящая осведомленность о содержимом экрана
Этот трюк уже предоставляет вам множество функций ожидаемой осведомленности о содержимом экрана. Однако есть вещи, которые осведомленность о содержимом экрана сможет сделать, что этот метод не может.
Например, не так уж просто скопировать информацию с вашего экрана и использовать её где-то еще. ChatGPT может извлечь информацию с экрана, но вам всё равно нужно будет вручную скопировать её, прежде чем вы сможете вставить её куда-либо. Также вы не можете взаимодействовать с другими приложениями; вы не сможете попросить добавить адрес в контакт, как вы сможете, когда появится настоящая осведомленность о содержимом экрана. Но до тех пор это действительно полезная функция, которая может сэкономить вам много времени и усилий.
Осведомленность о содержимом экрана пока еще не появилась, но вы можете использовать ChatGPT с Siri, чтобы получать информацию из всего, что сейчас отображается на экране вашего iPhone. Существуют довольно полезные способы воспользоваться этим, пока настоящая осведомленность о содержимом экрана не появится.
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Вы также можете читать меня в:
- Telegram: https://t.me/gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru