Встроенный в Edge искусственный интеллект будет просматривать веб-страницы вместе с вами.
Может быть сложно уследить за всеми новыми инструментами искусственного интеллекта. Возможно, у вас даже есть доступ к многочисленным функциям и ресурсам ИИ, которые вы не успели заметить.
Например, Copilot Vision теперь доступен для бесплатного использования в Microsoft Edge. Возможно, вы не знали об этом, если не используете Edge в качестве основного браузера или никогда не слышали о Copilot Vision.
Это расширение Microsoft Copilot с искусственным интеллектом, которое, по сути, может «видеть» то, на что вы смотрите в интернете. Вероятно, это уже вызывает у вас беспокойство по поводу конфиденциальности: вы действительно хотите, чтобы ИИ отслеживал каждое ваше действие в интернете?
Ну, возможно, если вы сочтете это полезным. Это значит, что вы можете задавать «Автопилоту» вопросы о том, на что вы смотрите, и получать советы — независимо от того, пытаетесь ли вы найти лучшие кофеварки для заваривания кофе или составить идеальный маршрут для следующей поездки.
Microsoft заявляет, что ничего из того, о чём вы говорите с Copilot Vision, не сохраняется навсегда, а данные вашего сеанса удаляются сразу после завершения. Если вас устраивают эти ограничения, вот как можно начать пользоваться этой функцией.
Как запустить программу второго пилота Vision
Убедитесь, что вы используете последнюю версию Microsoft Edge, запустив браузер в WIndows, затем щелкнув три точки (вверху справа) и Справка и отзывы > О Microsoft Edge. Вам также необходимо войти в свою учетную запись Microsoft с помощью кнопки "Аватар профиля", расположенной слева от трех точек на панели инструментов.
Затем вам нужно перейти на веб-сайт, видео или PDF-файл в браузере, о котором вы хотите поговорить с Copilot Vision. (Обратите внимание, что ИИ откажется взаимодействовать с сайтами, содержащими вредный контент или материалы для взрослых.) Запустите Copilot, нажав на значок Copilot в крайнем правом углу панели инструментов (справа от трёх точек).
Затем нажмите на значок микрофона в правом нижнем углу боковой панели «Копилота». Если функция «Копилота» доступна, вам нужно будет нажать «Принять», после чего вы услышите короткую голосовую инструкцию, объясняющую, как работает эта функция. Панель «Копилота» находится в центре браузера, и цвет окружающего её фрейма меняется, показывая, что функция ИИ активна.
Здесь есть четыре кнопки: нажмите X, чтобы выйти из Copilot Vision, кнопку с микрофоном, чтобы включить или выключить микрофон, значок в виде очков, чтобы включить или выключить Copilot Vision, и значок шестерёнки, чтобы получить доступ к настройкам инструмента (на данный момент доступна только одна настройка — вы можете выбрать стиль голоса ИИ).
После запуска Copilot Vision вам нужно будет просто начать говорить. Вы можете общаться на любые темы, как обычно с помощью Copilot, а также обо всём, что есть на странице. Однако вы не сможете заставить ИИ выполнять действия за вас — он не будет прокручивать страницы или переходить по ссылкам, а только будет общаться с вами голосом.
На данный момент Copilot Vision остаётся экспериментальной функцией, и это подтверждается моим собственным тестированием. Во многих случаях она работает точно, но не всегда понимает всё, что вы говорите, и не всегда даёт вам надёжные ответы в 100% случаев — как обычно бывает с этими ботами с искусственным интеллектом, вам нужно перепроверить всё важное.
Как использовать зрение второго пилота
Теперь, когда вы знаете, как включить Copilot Vision, как его использовать? Допустим, вы просматриваете веб-страницу с множеством различных новостей. Вы можете попросить ИИ обобщить все заголовки и зачитать их вам, чтобы не тратить время на прокрутку и чтение. Затем Copilot Vision спросит, интересует ли вас какая-то конкретная новость, чтобы вы могли продолжить разговор.
Возможно, вы просматриваете веб-страницу какого-то заведения, компании или организации — инструменты для краткого обзора могут пригодиться и здесь. Возможно, вы хотите узнать, подходит ли это место для детей, или проверить часы работы, или посмотреть, есть ли какие-то специальные предложения, которыми вы можете воспользоваться. Конечно, вы можете сделать всё это, просто прочитав страницу, но если вам нужно усвоить большой объём текста и информации, Copilot Vision может сэкономить вам время.
Ещё один способ его использования — распознавание изображений, в чём ИИ уже давно преуспел. Например, вы можете спросить его о видах растений, которые вы просматриваете в интернете, или о том, где в мире находятся известные достопримечательности (при условии, что они не снабжены соответствующими подписями, в этом случае вы уже будете знать). Вы даже можете попросить Copilot Vision высказать своё мнение об искусстве, архитектуре или о чём-то ещё, что вы просматриваете.
Покупки — ещё один вариант использования. Если вы просматриваете множество вариантов на экране, Copilot Vision может порекомендовать что-то, основываясь на внешнем виде, характеристиках или ваших личных предпочтениях (при необходимости ИИ подскажет вам об этом). Однако он не может нажимать на кнопки и прокручивать страницу за вас — всё это должны делать вы.
Copilot Vision может помочь даже в онлайн-играх, если вы играете в лёгкие игры в своём веб-браузере. Вы можете попросить совета или идеи для стратегии, а также инструкции по игре, и ИИ вам поможет. В некоторых онлайн-играх, таких как GeoGuessr, Copilot Vision может подсказать вам правильный ответ.
Судя по тестам, которые я проводил с Copilot Vision, его ответы часто сочетают в себе информацию со страницы с более общими знаниями из Интернета и данными обучения, так что вы можете прерваться и задать вопросы о том, чего нет на экране. Когда вы закроете Copilot, вы вернетесь к стандартной панели Copilot в боковой части Edge