519 подписчиков
На платформе Leonardo AI теперь доступна генерация видео.
Ну, "видео" — это громко сказано. Если точнее, Leonardo освоил метод Img2Vid (Image to Video, который у него называется Image2Motion) и подключил модель Stable Video Diffusion. Это означает, что теперь любую сгенерированную на платформе картинку можно анимировать. Для этого нужно навести на неё курсор, чтобы появилось всплывающее меню, и выбрать в нём кнопку с иконкой в виде куска киноплёнки — Generate Motion Video. Если вы выбираете картинку не на странице с недавними генерациями, а в своей персональной галерее, кликните на превью картинки, чтобы открыть карточку генерации, и уже в карточке выберите пункт Image2Motion. В появившемся всплывающем окне вы можете подвигать ползунок, который отвечает за количество добавленной анимации: от 1 (очень слабое, почти незаметное движение) до 10 (картинка может буквально расползаться на куски).
Хотя анимировать картинки именно в Leonardo необязательно. То же самое вот уже более месяца можно делать и на платформе HuggingFace, и в других местах бескрайнего Интернета, где доступна модель Stable Video Diffusion.
Плюсы генерации прямо в Leonardo заключаются в следующем:
- не надо никуда уходить с платформы, скачивать и заново загружать картинку;
- не надо ждать сначала своей очереди, а потом долгого рендера: генерация происходит довольно быстро. Хотя здесь надо заметить, что и на HuggingFace ситуация с очередями значительно улучшилась;
- анимировать можно изображения любого размера и с любым соотношением сторон.
Минусы тоже есть:
- каждая генерация обойдётся вам в 25 токенов. Это очень дорого: шесть попыток — и дневной бюджет слит полностью;
- модель работает только с изображениями, созданными на платформе. Загрузить что-то другое и анимировать здесь не получится.
Что касается качества анимации, то по большому счёту не имеет значения, на каком сайте вы будете использовать Stable Video Diffusion. Разработчики Leonardo доработали модель только в одном отношении: при одинаковом хронометраже движение в роликах получается намного более плавным, без рывков, за счёт более высокой частоты кадров. Но если говорить об ошибках построения, то Leonardo совершает их ничуть не меньше.
Судите сами. Сравните результаты, полученные при "оживлении" одних и тех же изображений на HuggingFace и Leonardo. Количество удачных и неудачных генераций приблизительно одинаково для обеих платформ, поэтому просто выбирайте тот вариант, которым вам удобнее пользоваться.
2 минуты
26 декабря 2023