Исследователи из Netflix совместно с коллегами представили инновационный инструмент для видеомонтажа – VOID (Video Object and Interaction Deletion), который не просто удаляет объекты из кадра, но и корректирует физические последствия их исчезновения. В отличие от традиционных методов, новая система обеспечивает реалистичное поведение оставшихся объектов, исключая нарушения законов физики.
Инструмент анализирует сцену в три этапа:
1. Определяет области, которые могут быть затронуты изменениями. 2. Создает специальную карту (квадромаску) для учета исчезновения теней и изменения траекторий движения. 3. Генерирует новую версию видео с учетом всех корректировок и проводит дополнительный проход для уточнения движений, чтобы избежать искажений объектов.
VOID был обучен на тысячах пар цифровых последовательностей, что позволило системе освоить причинно-следственные связи между объектами. Например, если удалить опору, персонаж естественно упадет, а не зависнет в воздухе. Так, в демонстрации с падающими костяшками домино VOID корректно смоделировал остановку цепной реакции при удалении средних элементов.
Разработчики отмечают, что VOID не просто копирует пиксели, а применяет высокоуровневое мышление и знания о физических законах. В будущем планируется расширение возможностей системы для работы с еще более сложными сценариями видеомонтажа.
💡 Читайте также:
Понравился материал?
Подписывайтесь на наши каналы в Дзене, VK, OK и Telegram и заходите на наш сайт Techdgst.ru, где мы публикуем еще больше новостей о технологиях и науке.