Adobe Firefly: Точечное редактирование видео с помощью ИИ

Adobe обновляет своё приложение для генерации видео на базе ИИ — Firefly. В нём появился новый видеоредактор, позволяющий вносить точечные правки с помощью текстовых подсказок, а заодно расширилась линейка сторонних моделей для генерации изображений и видео. Среди них — FLUX.2 от Black Forest Labs и Astra от Topaz.

До сих пор Firefly умел лишь генерировать видео по запросу целиком: если в ролике что-то не устраивало, приходилось пересобирать его заново. Теперь же ситуация меняется. Новый редактор позволяет с помощью текстовых подсказок править отдельные элементы видео — цвета, детали сцены, углы камеры, — а обновлённый таймлайн делает работу с кадрами, звуком и другими параметрами куда нагляднее и проще.

О новом видеоредакторе Adobe впервые рассказала в октябре — тогда он был доступен в закрытой бете. Теперь же компания запускает его для всех пользователей.

В Adobe поясняют, что при использовании модели Aleph от Runway пользователи могут задавать Firefly вполне конкретные инструкции — вроде: «Сделай небо пасмурным и понизь контраст» или «Чуть приблизь главный объект». Видео реагирует на такие команды точечно, а не глобальной перегенерацией.

А благодаря собственной модели Firefly Video возможности становятся ещё шире. Теперь можно загрузить стартовый кадр и референсное видео с движением камеры — и попросить систему воссоздать тот же ракурс и динамику в текущем проекте. Фактически Firefly учится «снимать» по образцу.

Компания также сообщила, что пользователи получили доступ к модели Astra от Topaz Labs для апскейла видео до 1080p и 4K. В приложение приходит и генератор изображений FLUX.2 от Black Forest Labs, а вместе с ним — функция совместных рабочих досок.

По словам Adobe, FLUX.2 станет доступна в Firefly сразу на всех платформах, а пользователи Adobe Express смогут начать работать с этой моделью уже с января.

На фоне того, как конкуренты один за другим выпускают новые модели для генерации изображений и видео, Adobe явно стремится удержать внимание аудитории и активнее вовлечь пользователей в экосистему Firefly. В дополнение к свежим обновлениям компания объявила, что подписчики планов Firefly Pro, Firefly Premium, а также тарифов на 7 000 и 50 000 кредитов получат неограниченное количество генераций во всех моделях изображений и в Adobe Firefly Video Model внутри приложения — вплоть до 15 января.

В целом за этот год Adobe заметно перекроила Firefly. В феврале компания запустила подписку, открывающую доступ к разным уровням генерации изображений и видео; затем представила обновлённое веб-приложение Firefly, а позже — и мобильные версии. Параллельно сервис постепенно обрастал поддержкой всё большего числа сторонних моделей — и, судя по всему, на этом Adobe останавливаться не собирается.