Замедленное видео, оно же слоу-мо, пользуется невероятной популярностью у зрителей, однако создавать его чрезвычайно сложно. Нужное для этого оборудование стоит очень дорого, а необходимость где-то хранить материал, отснятый на скорости 300 тысяч кадров в секунду, быстро становится проблемой. Однако новая технология от Nvidia позволяет решить эту задачу лучшим образом.
Метод назван «многокадровой интерполяцией переменной длины» и базируется на машинном обучении при анализе исходного материала с тем, чтобы нейронная сеть могла «домыслить» недостающие кадры. Не принципиально, хотите вы добиться виртуального замедления в 8 или 15 раз, у этой технологии нет верхнего предела, и система может сгенерировать любое количество изображений, которые идеально впишутся в кадр. Точнее — зритель не заметит подвоха.
На самом деле здесь работают две нейронные сети. Первая анализирует само видео на заданном диапазоне кадров, создает карту видеопотока в прямом и обратном направлении, формирует план вставки виртуальных кадров. Вторая система интерполирует данные, сопоставляя возможности генерации с планом, чтобы исключить кривые пиксели, паразитные наложения и прочие «артефакты». Теперь остается создать по этим данным произвольное количество искаженных версий первого и второго кадра в тандеме, чтобы вставить их между ними и «растянуть» видео на нужную длину.
