Вчера Adobe анонсировала запуск нескольких новых инструментов, интегрированных в Premiere Pro, которые позволяют креативным пользователям создавать видео на основе неподвижных изображений и текстовых описаний.
Первым из представленных инструментов стал Generative Extend, который позволяет удлинять клипы, добавляя до двух секунд к началу или концу, а также вносить изменения в середину. Это поможет исправить мелкие недочеты, такие как неправильная позиция объектов в кадре. Хотя возможность удлинения ограничена, она избавляет от необходимости переснимать сцены для незначительных исправлений. Пользователи могут создавать расширенные клипы в разрешении 720p или 1080p при 24 кадрах в секунду, а также использовать этот инструмент для аудио, чтобы сгладить переходы, но только для звуковых эффектов.
Два других инструмента, Text-to-Video и Image-to-Video, доступны в веб-приложении Firefly. Text-to-Video позволяет пользователям вводить текстовые описания для генерации видео, аналогично другим существующим решениям. Этот инструмент поддерживает различные стили, включая реалистичное, кинематографичное видео и анимацию, а также предлагает элементы управления камерой для настройки углов и движений.
Image-to-Video предоставляет еще больше контроля, позволяя загружать изображения вместе с текстовыми запросами. Это дает возможность создавать дополнительные кадры из статичных изображений или визуализировать сцены, используя стоп-кадры из существующих видео. Стоит учесть, что результаты могут содержать ошибки, такие как неправильное положение объектов, что подчеркивает ограничения текущих технологий.
На данный момент максимальная длина генерируемых клипов составляет пять секунд, а качество достигает 720p. Adobe работает над улучшением времени генерации, которое сейчас занимает около 90 секунд. Важным аспектом является то, что инструменты Adobe используют контент, на который у компании есть права, что повышает их коммерческую безопасность.
Кроме того, видео, созданные с использованием этих инструментов, могут содержать метаданные о правах, что помогает раскрыть информацию о применении ИИ и авторских правах.