Найти в Дзене
Psy Eyes

Luma: выпустили видеогенератор Ray 3

Luma: выпустили видеогенератор Ray 3. Что нового: * Модель может рассуждать визуальными концептами и взвешивать свои промежуточные ответы, чтобы выдать лучший результат * Хорошо понимает физику и дружит с реализмом, конкурент Hailuo 02 * Генерация 16 битного HDR видео в 1080р длительностью до 10 сек * На входных картинках можно рисовать аннотации, чтобы модели было легче понять, что от неё нужно * Режим черновика (Draft Mode) для быстрого получения результатов пусть и в 640 × 352 * Апскейлинг до 4к инструментом HiFi На сайте пишется, что можно погонять Ray3 бесплатно, но речь только о text-2-video в быстром Draft режиме. Второе и третье видео примеры того, что можно в нём получить. Промту следует хорошо, надписи четко рендерит, а картинка динамичная. Но из-за низкого разрешения имеется вагон артефактов, а динамизм может сыграть не на руку ибо двигаться в кадре может то, что не нужно, например город. Впрочем генерация в 1080р не сильно исправляет ситуацию, ибо артефакты всё равно ви

Luma: выпустили видеогенератор Ray 3.

Что нового:

* Модель может рассуждать визуальными концептами и взвешивать свои промежуточные ответы, чтобы выдать лучший результат

* Хорошо понимает физику и дружит с реализмом, конкурент Hailuo 02

* Генерация 16 битного HDR видео в 1080р длительностью до 10 сек

* На входных картинках можно рисовать аннотации, чтобы модели было легче понять, что от неё нужно

* Режим черновика (Draft Mode) для быстрого получения результатов пусть и в 640 × 352

* Апскейлинг до 4к инструментом HiFi

На сайте пишется, что можно погонять Ray3 бесплатно, но речь только о text-2-video в быстром Draft режиме. Второе и третье видео примеры того, что можно в нём получить. Промту следует хорошо, надписи четко рендерит, а картинка динамичная. Но из-за низкого разрешения имеется вагон артефактов, а динамизм может сыграть не на руку ибо двигаться в кадре может то, что не нужно, например город.

Впрочем генерация в 1080р не сильно исправляет ситуацию, ибо артефакты всё равно видны, местами изображение ходит волнами, и чувствуется, что низлежащее видео сделано в лоурезе, а потом заапскейлено (см 3 и 4 видео (спс @dreamdess)).

На запросах ближе к тренировочным датасетам (люди, реклама, кино, итд) результаты будут четче.

Сайт

Анонс