Сперва главное:
🤖 У ChatGPT появилась новая функция — возможность делиться с чат-ботом изображением с экрана или видео в реальном времени благодаря Advanced Voice Mode.
💡 Функция работает как видеочат с другом, который не отправляет своё изображение в ответ. Вы можете слышать голос AI, делая общение более удобным.
💻 Чтобы попробовать функцию, нужно нажать на значок голоса в приложении ChatGPT, а затем на значок видео для начала трансляции с камеры. Чтобы поделиться экраном, нажмите на меню из трёх точек и выберите «Share Screen».
🔍 Функция может быть полезна в различных ситуациях: от сборки мебели IKEA до настройки параметров на телефоне или компьютере и даже приготовления блюд по рецепту.
⚠️ OpenAI предупреждает, что некоторые могут настороженно отнестись к функции обмена изображениями с камеры.
👨💼 Сейчас функция доступна только для пользователей ChatGPT Plus и Pro, подписчики Enterprise и Education получат доступ в следующем месяце, а о доступности для бесплатного тарифа пока ничего не известно.
Теперь подробнее:
Шестой день 12-дневного марафона OpenAI принёс ChatGPT новую визуальную способность, связанную с его продвинутым голосовым режимом, который позволяет делиться экраном и вести прямую видеотрансляцию с чат-ботом ИИ. Вместо того чтобы загружать фотографии и скриншоты, чтобы задать вопросы ChatGPT, теперь вы можете показать ему то, на что смотрите, и попросить совета.
Эта функция немного напоминает видеочат с другом, хотя он и не отвечает вам своим изображением. Но вы можете услышать голос ИИ, что делает разговор доступным без помощи рук. Если вы хотите попробовать это, вы можете нажать на значок голоса в приложении ChatGPT, а затем на значок видео, чтобы начать трансляцию видео с вашей камеры. Чтобы поделиться экраном, просто нажмите на трёхточечное меню и выберите «Поделиться экраном».
Представьте, что вы пытаетесь собрать новую книжную полку IKEA (потому что кто этого не делал?). Вместо того чтобы смотреть на запутанные инструкции, вы можете направить камеру на наполовину собранную конструкцию и спросить ChatGPT: «Что я здесь сделал не так?». ИИ может проверить детали и предложить пошаговые инструкции.
Если вам нужно настроить некоторые параметры на телефоне или компьютере и вы не знаете, как это сделать, вы можете поделиться своим экраном с ChatGPT, чтобы ИИ мог провести вас по меню и кнопкам, чтобы разобраться. Больше не нужно копаться в бесконечных технических форумах или спрашивать своего друга, который хорошо разбирается в компьютерах.
Эта функция может даже сделать ChatGPT лучшим помощником повара. Если в вашем рецепте написано: «Взбивайте, пока не загустеет», и вы не уверены, достаточно ли вы взбили, просто направьте камеру на свою миску и спросите ChatGPT подтверждения или совета, который вы, возможно, захотите заказать.
Главный технический директор OpenAI Кевин Вейл и его команда продемонстрировали, как ChatGPT может помочь приготовить кофе методом пуровер, направив камеру на устройство для заваривания, чтобы продемонстрировать эту новую функцию во время её дебюта. ИИ понял устройство для приготовления кофе и провёл их по шагам, как виртуальный бариста.
Функция побуждает рассматривать ChatGPT скорее как человека, чем как компьютер, даже больше, чем просто голосовой интерфейс. Возможность «видеть» делает ИИ более присутствующим в реальном мире и менее похожим на чат-бота в вакууме.
OpenAI признала, что обмен данными с вашей камеры может вызвать у некоторых опасения по поводу использования этой функции. Она включается не автоматически, вам необходимо активировать её каждый раз, когда вы её используете, чтобы избежать случайного видеосъёмки.
На данный момент новая функция доступна только для пользователей ChatGPT Plus и Pro. Подписчики уровня Enterprise и Education получат доступ в следующем месяце, но OpenAI не сообщила, получит ли бесплатный уровень доступ и когда.
Это имеет смысл, поскольку, вероятно, для этого требуется много вычислительной мощности, и OpenAI не хочет, чтобы ChatGPT снова вышел из строя после того, что произошло в среду.