В случае с видеороликом задача усложняется, потому что для каждого момента времени есть только один кадр с одного ракурса.N + 1
В новой работе авторы предложили параллельно обучать две отдельные модели: для подвижных и неподвижных частей сцены.N + 1
Для обучения динамической модели и решения проблемы нехватки кадров исследователи предложили создавать для каждого кадра и соответствующего момента времени t по два дополнительных кадра, «снятых» в моменты t+1 и t-1.N + 1
К примеру, в демонстрационном ролике можно увидеть, как алгоритм позволил превратить видео, на котором оператор шел параллельно с танцующим мужчиной, в статичное, «снятое» с одного места.N + 1