На выставке NAB 2023 компания Adobe рассказала подробности о системе Adobe Firefly, которая сейчас находится в стадии бета-тестирования. Это программное обеспечение представляет собой набор инструментов на основе искусственного интеллекта Adobe Sensei.
На текущий момент Adobe Firefly позволяет создавать изображения из текста, а также добавлять эффекты по текстовому описанию.
Известно, что часть функций все еще находятся в стадии активной разработки. Например, генерации музыки для клипов с помощью текстового описания или цветокоррекция в один клик.
В официальном пресс-релизе Adobe Firefly указано, что система позволяет загрузить свой сценарий и проанализировать текст. После чего ИИ сам создаст основу для раскадровки. Вот так компания Adobe демонстрирует результат этой работы:
При нажатии на кнопку «сделать превиз» система Adobe Firefly сформирует предварительную анимацию фильма прямо на таймлайне. Выглядеть она будет следующим образом:
В случае если функционал Adobe Firefly будет настолько же прост и удобен в публичной версии, как это описывается на данный момент, использовать программу смогут создатели контента и кинематографисты, не имеющие больших бюджетов.
При этом система Adobe Firefly позволит ускорить рабочий процесс в ряде областей, где требуется создание контента с малым количеством доступного время и технических возможностей.
Интересная функция — быстрой ИИ-цветокоррекции. Она позволит менять цветовые схемы, время суток и даже время года в уже готовых видеороликах. От пользователя требуется написать текстовую подсказку, которую реализует Adobe Firefly:
В Adobe Firefly будут доступны и другие более продвинутые инструменты. Например, расшифровка интервью, которая также поможет ускорить процессы создания контента, в т.ч, документальных фильмов.
Систему можно попросить определить ключевые слова в контенте — после чего она предложит даже клипы для би-роллов. Насколько качественно будет выполнена эта работа — можно будет сказать только после тестирования.
Adobe предусматривает возможность интеграции Firefly в свои стандартные приложения. Компания уточняет, что в будущем система сможет создавать шрифты, логотипы и анимированные заставки.
Система сможет работать и с аудио. Например, сгенерировать специальный трек. Опять же, по текстовому запросу. При этом разработчики сообщают, что вся сгенерированная музыка будет бесплатной — и ее можно будет без проблем добавить в свое видео.
Интересно, предложат ли подобный функционал компании-конкуренты Adobe. Например, тот же Blackmagic Design с программой DaVinci Resolve. Кстати, Photar.ru недавно подробно рассказывал о новой версии DaVinci Resolve 18.5, которая как раз получила широкий функционал на основе ИИ.
В частности, была добавлена необычная функция Relight. Она анализирует с помощью ИИ изображение, создавая так называемую карту нормалий. И после — позволяет, по сути, менять освещение в кадре. Можно перемещать по кадру виртуальный свет, настроить его цвет, мягкость и отражение. Информация об интенсивности света помещается в альфа канал для использования при грейдинге в DaVinci Resolve.