Найти в Дзене

Что приготовил нам Шедеврум? Заметки на полях #7

3 октябре команда Шедеврума сменила модель для генерации видео FramePack на Wan. Об обоих моделях я уже писал раннее: Знаете, это положительное изменение! FramePack в большинстве случаев оставлял передний план видео статичным, слегка оживляя задний план. Wan лишен такой проблемы и выглядит более зрело. К сожалению, Wan, как и FramePack до него, доступен только с подпиской PRO. Но все желающие могут оживить фото на официальном сайте Wan бесплатно (несколько бесплатных генераций в день). Но и это не все! Вчера команда Шедеврума поделилась очередной новость: нейросеть Алиса от Яндекса научилась оживлять фото! Воспользоваться такой возможностью можно на официальном сайте. Кстати, Яндекс запустил конкурс: Условия: 
1️⃣ Оживите школьное фото в приложении Алиса: с любимым учителем, с классом, за партой, с линейки или с одноклассниками. 2️⃣ Поделитесь генерациями в комментариях под этим постом до 7 октября включительно. 3️⃣ 5 победителей выберем случайным образом, но самым любимым работам Со
Оглавление

1. Замена FramePack на Wan

3 октябре команда Шедеврума сменила модель для генерации видео FramePack на Wan. Об обоих моделях я уже писал раннее:

Команда Шедеврума выпустила очередное обновление. В этот раз улучшено видео! ✅ Улучшена генерация видео через модель Yandex Art. Количество дефектов при генерации уменьшено ✅ В подписке Pro (опционально доступна в Яндекс плюс) добавлена опенсорс модель FramePack от Стенфордского университета Прикладываю свое видео на новой модели. Сравните с результатом на Wan (слева)
IT Удав | Информационные технологии8 августа
Вышла опенсорс нейросеть для генерации видео Wan 2.2 от китайской корпорации Alibaba. Да, вы не ослышались - опенсорс означает открытый исходный код, а любой разработчик может запустить ее, используя мощности своего компьютера. Нейросеть умеет оживлять фото и генерировать видео из текста, доступно даже добавление фоновых звуков. Попробовать можно на официальном сайте (есть бесплатный тариф) или…
IT Удав | Информационные технологии4 августа

Знаете, это положительное изменение! FramePack в большинстве случаев оставлял передний план видео статичным, слегка оживляя задний план. Wan лишен такой проблемы и выглядит более зрело.

К сожалению, Wan, как и FramePack до него, доступен только с подпиской PRO. Но все желающие могут оживить фото на официальном сайте Wan бесплатно (несколько бесплатных генераций в день).

2. Оживление фото в Алисе

Но и это не все! Вчера команда Шедеврума поделилась очередной новость: нейросеть Алиса от Яндекса научилась оживлять фото!

Воспользоваться такой возможностью можно на официальном сайте.

Кстати, Яндекс запустил конкурс:

Условия: 
1️⃣ Оживите школьное фото в приложении Алиса: с любимым учителем, с классом, за партой, с линейки или с одноклассниками.
2️⃣ Поделитесь генерациями в комментариях под этим постом до 7 октября включительно.
3️⃣ 5 победителей выберем случайным образом, но самым любимым работам Сова поставит лайки!

3. Бонус

Знаю, что среди моих читателей есть те, кто тоже использует Шедеврум. Специально для вас хочу поделиться своими простыми находками. Все иллюстрации в этой части сделаны мной.

Используйте планы

-2

Явным образом указывайте передний и задний план, например так:

Передний план: ...
Задний план: ...
Общий промпт: ...

Можно использовать еще и средний план, все зависит только от вашей фантазии.

Явно задавайте свойства материала

Указывайте явным образом отражения, блики. Можете использовать слово альбедо и экспериментировать с разными значениями и сочетаниями.

Альбедо (лат. albedo — «белизна») — отражающая способность, отношение количества отражённой радиации к суммарной радиации, поступившей на какую-либо поверхность.

Не только реализм

-4

По моим наблюдениям, стиль digital art (цифровая живопись) развязывает нейросети руки. Некоторые вещи просто нельзя физически задать промптом в режиме реализма. Поэкспериментируйте с этим стилем.

У меня был пример с расстоянием до камеры. Я посмотрел пример в stable diffusion, где работает промпт wide shot, чтобы объект полностью поместился в кадр. По непонятной мне причине лучше всего результат получался в digital art, хотя, это похоже на баг Шедеврума)

UPD. Про расстояние до камеры. Спасибо О тебе и обо мне за это замечание, я не раскрыл суть. Есть очень хорошая шпаргалка на эту тему:

-5

Кстати, используйте разные модели (2.7 или 2.5), чтобы увидеть, как они обрабатывают ваш запрос.