Найти в Дзене
3DNews

NVIDIA Broadcast научили имитировать взгляд пользователя в камеру, когда он смотрит в другую сторону — используется ИИ и дипфейк

Стриминговое ПО NVIDIA Broadcast получило интересную функцию. Приложение может имитировать взгляд пользователя в объектив камеры даже в случае, если смотрит совсем в другую сторону. Использующая алгоритмы ИИ функция Eye Contact заменяет изображение глаз их имитацией со «взглядом», направленным точно в камеру. Правда, работает она далеко не всегда корректно. По словам разработчиков, функция Eye Contact упрощает запись видео и освобождает пользователя от необходимости смотреть точно в объектив камеры. Таким образом можно общаться с удалёнными собеседниками, читая постороннюю информацию или одновременно набирая текст на клавиатуре. В NVIDIA утверждают, что «имитированные» глаза будут точно того же цвета, что и настоящие, кроме того, поддерживается отключение функции, если пользователь отвёл взгляд слишком далеко. На демонстрационном видео можно оценить качество работы функции: слева размещено видео с камеры без редактированного контента, справа — оно же с расположенной рядом камеры после

Стриминговое ПО NVIDIA Broadcast получило интересную функцию. Приложение может имитировать взгляд пользователя в объектив камеры даже в случае, если смотрит совсем в другую сторону. Использующая алгоритмы ИИ функция Eye Contact заменяет изображение глаз их имитацией со «взглядом», направленным точно в камеру. Правда, работает она далеко не всегда корректно.

   Источник изображения: NVIDIA
Источник изображения: NVIDIA

По словам разработчиков, функция Eye Contact упрощает запись видео и освобождает пользователя от необходимости смотреть точно в объектив камеры. Таким образом можно общаться с удалёнными собеседниками, читая постороннюю информацию или одновременно набирая текст на клавиатуре. В NVIDIA утверждают, что «имитированные» глаза будут точно того же цвета, что и настоящие, кроме того, поддерживается отключение функции, если пользователь отвёл взгляд слишком далеко.

На демонстрационном видео можно оценить качество работы функции: слева размещено видео с камеры без редактированного контента, справа — оно же с расположенной рядом камеры после обработки NVIDIA Broadcast. Нетрудно заметить, что Eye Contact пока является не вполне идеальным решением — временами глаза движутся хаотично, а радужная оболочка то расширяется, то сужается. При желании можно увидеть и другие недостатки. Впрочем, для собеседника, внимательно не всматривающегося в экран, разница будет не столь заметной.

В последние годы NVIDIA активно инвестирует в технологии машинного обучения и системы искусственного интеллекта на базе нейронных сетей. Функция Eye Contact является ярким тому подтверждением.

Помимо Eye Contact, в NVIDIA Broadcast были реализованы другие функции и возможности. В их числе: новые эффекты вроде виньеток, а также инструменты для размывания, замены или удаления фона на видео. Для работы с программным решением необходимо наличие на компьютере видеокарты NVIDIA GeForce RTX.

Больше интересных новостей на сайте 3DNews:
Партию мультитулов для хакеров Flipper Zero на $200 тыс. задержала таможня Германии и уничтожит её
Учёные создали транзисторы из воды — они откроют путь к процессорам с частотой больше 1 ТГц
«Выглядит очень впечатляюще»: энтузиасты добавили трассировку лучей в Half-Life 2 и Max Payne с помощью файлов Portal with RTX