Генерация видео больше не требует дата-центров, новое решение позволяет редактировать видео в реальном времени на одной видеокарте, что может лишить IT-гигантов монополии в этой сфере, отмечает IT-редакция ИА Красная Весна.
Пользователь Деннис Менн 31 марта выложил на веб-сервис GitHub новый метод Streaming LIPAR. Он ускоряет работу модели генерации видео, повышая скорость работы видеокарты RTX 4090 в 1,5 раза: с 12,6 до 19,3 кадра в секунду. При этом потребление памяти снизилось с 20,7 ГБ до 16,6 ГБ.
В слепом тестировании метода в 86,7% случаев люди не заметили разницы с оригиналом или предпочли сгенерированный результат. Менн научил модель замечать неизменяющиеся участки кадра и не обрабатывать их, а специальный механизм не позволяет появляться ошибкам в изображении.
Главное ограничение метода: он эффективен только при малом движении в кадре. При резкой смене планов или активной работе камеры ускорение падает. Однако почти наверняка найдутся те, кто оптимизирует процесс и для динамичных сцен.
Видеокарта RTX 4090 не из дешевых, ее стоимость в России достигает 120 тыс. рублей и более, но это гораздо меньше, чем затраты IT-гигантов на дата-центры. Кроме того, локальная генерация означает отсутствие встроенной цензуры, кто угодно может создавать любые ролики.
Неделю назад OpenAI отказалась поддерживать нейросеть Sora из-за того, что не окупались огромные затраты на генерацию видео. Появилась надежда, что другие компании пойдут на аналогичный шаг и цунами видеофейков отложится. Но метод Streaming LIPAR показывает, что удешевление процесса уже здесь. И оно происходит не в лабораториях корпораций, а на пользовательском графическом процессоре.