Сбер объявил о тестовом запуске новой версии нейросети Kandinsky для генерации видео. По заявлению разработчиков, фирменный алгоритм стал точнее понимать запросы и создавать более реалистичные короткие ролики, при этом создаются они даже быстрее, чем раньше.
Kandinsky 4.1 Video генерирует видеоряд длиной до 10 секунд по текстовому описанию или исходному кадру. Разрешение ролика — SD (720×576) или HD (1280×720). Представители Сбера отметили, что качество материала удалось улучшить с помощью дообучения (Supervised Fine-Tuning, SFT) на специально подобранном датасете: картинки выбирали дизайнеры, фотографы и художники с профильным образованием.
«…Модель стала в разы лучше по всем параметрам: по соответствию промпту, визуальному качеству, качеству генерации движений, а также способности моделировать физику мира», — рассказал руководитель блока «Технологическое развитие» и старший вице-президент Сбербанка Андрей Белевцев.
Более кинематографичные видео увеличили требования к железу, однако после применения методов дистилляции и ускорения разработчикам удалось увеличить скорость генерации более чем в три раза, если сравнивать с исходным. Качество при этом не стало хуже, а в некоторых сценариях — даже улучшилось.
Нейросеть Kandinsky 4.1 Video уже доступна участникам конференции GigaConf, а также некоторым дизайнерам и художникам. Общедоступным алгоритм станет позднее, но точные сроки пока не объявлены.