Недавно я заинтересовался генерацией видео с помощью нейросетей и хочу поделиться с вами теми инструментами, которые я смог найти в открытом доступе и которые можно использовать бесплатно.
runwayml.com
На этом ресурсе есть большое количество инструментов для создания видео и картинок. Для использования надо зарегистрироваться с аккаунтом гугл или по почте. После этого вы получите некоторое количество очков для того чтобы давать команды разным нейросетям. Один довольно забавный инструмент тут это создание видео в разделе tools. Доступны модели Gen-4 Turbo и Gen-3 Alpha Turbo. С их помощью можно загрузить одно изображение и дать описание что с этим изображением нужно сделать. У меня получилось создать несколько вполне себе приятных видео с пейзажами.
к примеру здесь в левом верхнем углу можно выбирать изображение/видео или аудио надо сгенерировать. при нажатии на кнопку SELECT в левой части экрана можно добавлять файл с которым нейросеть будет работать, после загрузки вы увидите их по центру, там где сейчас наблюдаются фотки гор. Под кнопкой SELECT есть окошка для того чтобы писать описания для нейросети что конкретно нужно сделать с выбраным файлом и какой результат вы хотите. Под разделом описания можно выбрать продолжительность видео и его ориентацию.
Также тут есть раздел где можно делать изображения, с ним всё аналогично.
deepdreamgenerator.com
На этом сайте так же потребуется регистрация, но как мне показалось он лучше следует тому что я пишу в описании к фото. Переключение между режимами генерации происходит вверху страницы в правой её половине. Вставлять файлы и описание к ним в той же области что и на прошлом сайте. Здесь требуется уже в ручную вводить какого формата видео вам нужно.
pix2pix
этот инструмент уже не является сайтом, это бесплатная нейросеть которую можно скачать и обучить у себя на устройстве. в отличие от предыдущих вариантов она может создавать неограниченное количество видео, поскольку работает автономно на вашем комптютере и не связываться с внешним миром. Из минусов: нет приветливого интрефейса, и что модель прийдется довольно долго обучать если не очень сильный компьтер. Для не продвинутых пользователей могут возникнуть трудности при установки, поскольку это прийдётся делать через GitHub.
рузультаты генерации с помощью этих инструментов можете найти по этой ссылке чтобы оценить их эффективность: https://dzen.ru/shorts/6998db1c1975ff019ea32155?from=feed&source=channel