«Живые фотографии как в Гарри Поттере»: создана нейросеть, оживляющая фото

Новый ИИ-сервис Dream Machine генерирует клеевые видео из фото и текстового описания.

https://avatars.dzeninfra.ru/get-zen_doc/1062011/pub_622bb08107b5d639e81b6918_622d05c19916f3091af41dd9/scale_1200

Dream Machine «увидел мир» совсем недавно, в начале июня 2024 г. ИИ умеет генерировать короткие видео (до 5 секунд), очень реалистичные, на основе фото и текста.

https://cdn.quizly.co/wp-content/uploads/2015/12/23013553/Harrys-Parents1.jpg

В считанные дни сервис получил огромную популярность. Им пользуется столько людей, что в настоящий момент он работает с перебоями. Но специалисты обещают исправить это в кратчайшие сроки.

Dream Machine: что умеет делать сервис

https://avatars.mds.yandex.net/i?id=1377c200caaaf888c645c07dd2efcf42dc056814-5327407-images-thumbs&n=13

Видео, созданное ИИ, можно легко отличить от настоящего. В первую очередь потому, что у персонажей на нем отсутствует мимика. Еще у людей на видео внезапно могут появиться «лишние» конечности. Видео рябит, а объекты в кадре резко изменяют местоположение.

https://s.poembook.ru/theme/a7/4d/cb/e8788947f7274a2116926eb28ee60a7062c2dfb3.jpeg

Новая нейронная сеть Dream Machine по качеству генерируемых роликов превосходят аналоги.

Особенной любовью у пользователей пользуется опция сервиса, позволяющая оживлять старые фотографии. Люди на них двигаются, и при этом большинства вышеперечисленных недостатков, ляпов нет. Видео получается плавным и очень правдоподобным.

https://cdnstatic.rg.ru/uploads/images/2023/04/28/garmonist_8a3.jpeg

Разработчики говорят о том, что их детище способно генерировать последовательные и точные видео с отличной скоростью — 120 кадров за 120 секунд.

ИИ Dream Machine понимает, как люди взаимодействуют друг с другом, с животными и всем окружающим миром. Поэтому видео и получаются реалистичными — кажется, будто все объекты и персонажи на них настоящие.

4 недостатка Dream Machine

https://news.store.rambler.ru/img/e505eff7b0822562c39d66385c4e6e4b

Сами разработчики отмечают 4 минуса нейросети Dream Machine:

1. Иногда ИИ создает объекты с дефектами. Например, в ролике с двигающемся авто, при повороте, вместо заднего бампера вдруг появляется передний.
2. Сервис путает движения. Кошка может зависнуть в воздухе вместо того чтобы бежать.
3. ИИ пишет текст на видео или с ошибками, или нечитаемый.
4. Сервис создает персонажей с ошибками. Так, при повороте у человека может внезапно появиться 2 головы.

Как использовать Dream Machine

https://overclockers.ru/st/legacy/blog/355118/397737_O.jpg

Пользоваться Dream Machine могут все желающие — для этого нужно всего лишь зарегистрироваться на сайте. Бесплатно можно создавать 5 роликов в день, но не более 30 за месяц.

Есть возможность платной подписки, которая снимает эти ограничения. Платная подписка стоит около 2 000 руб. за месяц.