Компания «Яндекс» представила диффузионную нейросеть YandexART 1.3, которая с обновлением перешла на новую технологию генерации — латентную диффузию
Как сообщает пресс-служба «Яндекса», датасет для обучения YandexART был увеличен в 2,5 раза — благодаря этому модель точнее обрабатывает текстовые запросы и создает более реалистичные изображения в разных форматах. Новая версия нейросети уже применяется в «Шедевруме», а позднее появится и в других сервисах «Яндекса». Латентная диффузия потребляет меньше вычислительных ресурсов и позволяет создавать более реалистичную графику.
Технология формирует промежуточное представление картинки в виде латентного кода — компактного описания, содержащего основную информацию об изображении в сжатой форме. Затем нейросеть за один шаг разворачивает код в полноценное изображение высокого разрешения.
Для лучшего обучения в датасет были добавлены синтетические тексты — сгенерированные нейросетью подробные описания изображений. Набор данных был увеличен до более чем 850 миллионов пар картинок с текстом, а чтобы YandexART учитывала больше деталей, в новой модели используются не один, а два текстовых энкодера. С их помощью YandexART распознает текстовый запрос и переводит его в машинный язык.
Здесь мы тестируем сервис «Яндекс Шедеврум»:
«Яндекс»