33 подписчика
🎬 Красивое видео не равно управляемой сцене: тест StreamEval
В StreamEval Vidu S2-Avatar получает в актёрской игре 99,60 за синхронность звука и картинки, 86,12 за сохранение внешности и только 36,90 за выполнение команд — лучший среди семи: следующая модель набирает 16,59. Команды не даются ни одной из них, и это общая задача отрасли. StreamEval — первый тест потокового интерактивного видео от Tsinghua, NVIDIA, CMU, Berkeley, Princeton и NUS.
Тесты вроде VBench смотрят короткие ролики. Но не проверяют, как модель отвечает на новые команды, сохраняя внешность персонажа, обстановку и прежние правки. В StreamEval команды приходят по ходу видео, и модель не знает, что дальше. В тесте 300 сценариев, и общего зачёта нет.
HappyOyster генерирует мир с лучшим качеством и стабильностью: 58,34 и 56,67. Но команды она выполняет на 5,56, а за непрерывность получает 2,78. При правке текстом Vidu S2-Editing набирает 45,43, а JoyAI-Video-Edit набирает 42,39. Зато JoyAI лучше сохраняет то, что не просили менять: 83,33, а Vidu набирает 60,93. С картинкой-образцом Vidu получает 39,02, а правка удаётся на 15,00 вместо 57,20 в текстовой задаче.
Синхронность, сохранение внешности и выполнение команд — разные навыки: попадать в губы не значит сделать нужное.
1 минута
2 дня назад