В 2022 году компания Stability AI получила признание своим инновационным генератором изображений, который привлек множество пользователей. Теперь компания стремится повторить успех и расширить свои возможности, запустив инструмент для анимации видео.
Под названием Stable Video Diffusion, Stability AI представляет новое бесплатное решение, способное в несколько секунд превращать неподвижные изображения в короткие видео. Данный инструмент уже доступен в режиме предварительного просмотра и представляет собой две модели:
1. SVD (Stable Video Diffusion), который преобразует изображения в видео, состоящее из 14 кадров.
2. SVD-XT (Stable Video Diffusion - eXtended Time), который создает видео из 25 кадров.
Обе модели имеют возможность работать на разных скоростях, от 3 до 30 кадров в секунду, и создавать короткие видеоклипы формата MP4 с разрешением 576 × 1024 пикселей, обычно с продолжительностью от 2 до 4 секунд.
Компания Stability AI подчеркивает, что модели находятся в ранней стадии разработки и в основном предназначены для исследовательских целей. Они работают над улучшением функционала и разработкой моделей, способных преобразовывать текстовую информацию в видео с использованием кратких подсказок.
Исследовательская статья, посвященная Stable Video Diffusion, не упоминает конкретные источники данных, использованных для обучения моделей. Авторы лишь указывают, что использовали "большой набор видеоданных, включающий примерно 600 миллионов образцов".
Интересно отметить, что недавно стартап Runway выпустил аналогичный инструмент для анимации изображений. Этот стартап сотрудничал с компанией Stability AI при разработке Stable Diffusion. Возникло предположение о внутренних конфликтах, поскольку обе компании представили одинаковый продукт под разными названиями. Стабильность AI не упомянула стартап Runway при представлении своего генератора изображений и присвоила себе все заслуги.
Stability AI продолжает свое развитие, предлагая уникальные инструменты и привлекая внимание пользователей к области генерации видео и изображений. Будем ждать новых решений и развития этой захватывающей технологии!