Нейронные сети научились воссоздавать видео, используя первый и последний кадр.
Специалисты из Google разработали нейронную сеть, состоящую из трёх частей:
1) Декодера двумерных изображений, конвертирующий входные данные в спец.формат и анализирующий их.
2) Генератора скрытого трёхмерного представления, который учится, отталкиваясь от входных данных.
3) И видеогенератора, который нужен для декодирования информации и создания из неё кадров для будущих видео.
Для тестирования разработки, создатели сжали три набора кадров до 64x64 пикселей. Образцы вмещали в себе 16 кадров. Задача разработки — воссоздать 14 оставшихся кадров. Специалисты запускали алгоритм сотню раз для всех пар входных данных. Обучался алгоритм 5 дней, из технического оснащения использовалась NVIDIA Tesla V100. Результат не заставил себя долго ждать. Последовательности соответствовали начальным и конечным кадрам и не отличались стилистически. Эта разработка поможет генерировать видео из «воздуха», а если быть точнее, то из нескольких изображений.
Комментарий Агентства Искусственного Интеллекта: Эта разработка поможет восстанавливать повреждённые ролики, которые находят по всему миру. Это очень интересно!
