76 подписчиков
LAMP — новая опенсорсная text-2-video модель. Первый фрейм генерится через SDXL и он служит основой для всех последующих. Работает как для генерации видео по тексту, так и для стайлтрансфера, хотя render-a-video в этом плане выглядит стабильнее.
Из интересного: можно скормить 8~16 видосов и натренировать генерить конкретное движение в кадре (для трени надо минимум 15+ ГБ видеопамяти). Своего-рода ControlNet.
Можно попробовать анимировать нетекстурированную 3D сцену в блендере и скормить полученные видосы LAMP . Например, стайлтрансфер в Runway GEN-1 в сочетании с голым 3D вполне норм работает, что видно на втором видео (взято с твиттера).
В этом посте есть большое видео, которое не загрузилось в Дзен. Откройте оригинал поста в телеграме, чтобы его посмотреть
Около минуты
25 октября 2023