Сбер представил нейросеть Kandinsky 3.0 — новейшую диффузионную модель для создания изображений по текстовым описаниям. Над продуктом работали в течении года, параллельно с работой по улучшению версий Kandinsky 2.1 и 2.2.
Команда Сбера провела исследования различных архитектур и обработала большое количество данных, чтобы повысить уровень понимания текста и качество генераций. Кроме того, новая модель ИИ теперь лучше разбирается в российском и советском культурном контексте (как и YandexArt).
Далее подробно рассказываем о том, как работает Kandinsky 3.0 и как им пользоваться.
Как создавать картинки в Kandinsky 3.0 по текстовому описанию
В Kandinsky 3.0 изображение создается прямо из кодированных токенов текста. Это упрощает процесс обучения, так как нужно тренировать только один компонент модели (Decoder). Это также повышает качество понимания текста, потому что предыдущая модель обучался на довольно простых текстах, которые сильно отличаются от естественного языка, в отличии от новой модели, которая обучается на большом объеме качественных текстовых данных.
Проще говоря, Kandinsky 3.0 умеет лучше анализировать тексты и создавать более реалистичные картинки. Плюс появилась генерация видео. Он также хорошо имитирует стили, направления и почерки известных художников, а также умело дополняет недостающие части изображения. Новая ИИ-модель была обучена на огромной базе данных, содержащей 1,5 млрд пар «текст — изображение» и позволяет генерировать картинки с разрешением до 1024х1024 пикселей при любом соотношении сторон.
Kandinsky 3.0, как и ранее, доступен на разных платформах — на сайте fusionbrain.ai, в Telegram и VK, в чат-боте GigaChat и в умных колонках SberBoom. Также нейросеть работает в приложении «СберБанк Онлайн». Там она создает заставки, которые вы видите при входе в личный кабинет.
Покажем работу новой нейросети через сайт fusionbrain.ai. Интерфейс тут не претерпел больших изменений. На панели инструментов слева заходим в «Редактор» и задаём параметры изображения. Сверху над окном генерации настраиваем соотношение сторон, а ниже пишем промт и выбираем стиль.
Далее несколько примеров наших промтов и что у нас получилось.
Промт: логотип кофейни символ, белый фон.
Промт: домик в деревне в стиле пикассо.
Промт: картинка для поста в соцсети про правильное питание, орехи, мёд, ягоды.
Быстрый вывод, который можно сделать — картинки действительно стали выглядеть лучше, но с текстом нейросеть по-прежнему не справляется.
Ранее фоторедактор Picsart объявил о запуске нового пакета функций на базе искусственного интеллекта для творчества — Picsart Ignite.