AutoMV: Первый в открытом доступе ИИ-агент для создания полноценных музыкальных клипов, достигающий повествования в такт музыке

AutoMV: Первый в открытом доступе ИИ-агент для создания полноценных музыкальных клипов, достигающий повествования в такт музыке.

Исследователи из M-A-P, Пекинского университета почты и телекоммуникаций и лаборатории NJU-LINK Нанкинского университета, совместно представили AutoMV, первую систему с открытым исходным кодом, не требующую обучения, предназначенную для создания полноценных музыкальных клипов (MV) с последовательным повествованием, длительностью в несколько минут.

Традиционные модели AI для генерации видео испытывают трудности с длинными музыкальными произведениями из-за ограничений по продолжительности, рассогласования аудио и видео, а также плохой согласованности персонажей. AutoMV решает эти проблемы, имитируя профессиональный производственный процесс и разделяя задачу на четыре этапа: предварительная обработка музыки, написание сценария и режиссура, генерация видео и итеративная проверка.

Система использует инструменты для разделения вокала и аккомпанемента, извлечения текста и анализа структуры песни. Специализированные агенты выступают в роли «сценариста» и «режиссера», генерируя раскадровки и визуальные подсказки, а библиотека персонажей обеспечивает визуальную согласованность на протяжении всего видео.

Ключевым нововведением AutoMV является введение агента проверки, который автоматически проверяет сгенерированные клипы на физическую правдоподобность, связность повествования и соответствие аудио и видео. Клипы, не прошедшие проверку, автоматически отклоняются и генерируются заново. Команда также создала новый бенчмарк, M2V, состоящий из 30 песен. Результаты оценки показывают, что AutoMV значительно превосходит коммерческие аналоги, такие как OpenArt-story и Revid.ai, в согласованности персонажей и рассказывании историй, достигая при этом самых высоких оценок в синхронизации аудио и видео.

Будучи системой с открытым исходным кодом, не требующей обучения, AutoMV предоставляет независимым музыкантам и создателям недорогой инструмент (ориентировочная стоимость около 15 долларов США) для создания музыкальных клипов в профессиональном стиле. Генерация полного MV в настоящее время занимает около 30 минут, хотя команда отмечает возможности для улучшения в сложных сценариях синхронизации танцев.

Источник: QbitAi

Всегда имейте в виду, что редакции некоторых изданий могут придерживаться предвзятых взглядов в освещении новостей.

8/9

https://dgnews.ru/automv-pervyj-v-otkrytom-dostupe-ii-agent-dlya-sozdaniya-polnoczennyh-muzykalnyh-klipov-dostigayushhij-povestvovaniya-v-takt-muzyke/