Яндекс впервые в России представил инновационную возможность для пользователей – технологию создания видеоматериалов с применением нейросетей. Передовую функцию реализовали в приложении под названием "Шедеврум". В рамках данной инициативы приложение способно автоматически формировать короткие видеоролики в ответ на запросы пользователей. Эти ролики могут лечь в основу различных проектов, таких как музыкальные клипы, анимации, динамичные аватары для социальных сетей и вдохновить на воплощение других креативных задумок.
Процесс создания видео в "Шедевруме" впечатляет своей эффективностью. Приложение порождает видеоролики продолжительностью в четыре секунды, каждый из которых включает 24 кадра. Результатом можно легко поделится с друзьями или сохранить в формате MP4. Стоит отметить, что на данный момент функция находится в стадии тестирования. Генерация видеороликов доступна для активных пользователей "Шедеврума", и все пользователи приложения имеют возможность просматривать эти креативные результаты в своей ленте.
Для создания видеоролика пользователю необходимо описать текстом, что он хотел бы увидеть в видеоролике. В ответ на это описание, приложение предоставляет четыре альтернативных варианта первого кадра, а также предоставляет набор анимационных эффектов, которые можно применить для создания движения в видеоролике. Принципиально важно, что нейросеть использует выбранное пользователем изображение как отправную точку, генерируя разнообразные варианты этого изображения и объединяя их с выбранным эффектом. Сейчас в распоряжении пользователей семь различных эффектов, включая зумирование, таймлапс (ускоренную перемотку), полёт, панораму, вращение, подъем и морфинг (постепенное изменение).
Значительное внимание уделено методу каскадной диффузии при создании последовательных кадров видеоролика. С помощью этой передовой технологии "Шедеврум" формирует каждый отдельный кадр. Первоначально нейросеть генерирует изображения в соответствии с пользовательским запросом, а затем постепенно повышает разрешение изображений, добавляя детали и насыщенность.
"Шедеврум" компания "Яндекс" представила в апреле 2023 года. С момента запуска оно моментально ворвалось в топовые позиции российских магазинов приложений App Store и Google Play. Неудивительно, что на данный момент количество установок на платформах iOS и Android составляет впечатляющие 5,8 миллиона пользователей. Архитектура нейросети "Шедеврума" включает в себя ошеломляющие 5 миллиардов параметров, и она обучалась на огромном объеме данных – 330 миллионах примеров пар изображений и текстовых описаний.