Компания Stability AI обновила нейросеть Stable Diffusion для генерации изображений по текстовому описанию до версии XL 1.0. Она получила несколько новых возможностей, стала реалистичнее рисовать и меньше нагружать железо. Разработчики показали примеры работ нового ИИ, а также перечислили ключевые нововведения свежего релиза.
Новая модель содержит 3,5 миллиарда параметров. По заявлению Stability AI, нейросеть стала выдавать более яркие и достоверные цвета, а также лучшую контрастность, тени и освещение по сравнению с предыдущей версией. Разработчики утверждают, что ИИ-модель теперь может генерировать изображения с разрешением в 1 Мп за считаные секунды.
Расширились и возможности тонкой настройки модели. Например, теперь для «копирования» одного и того же человека от генерации к генерации достаточно обучения на пяти изображениях. Кроме того, нейросеть научилась добавлять к картинкам полноценный текст, а не просто неразборчивые символы, как раньше.
Для создания изображений новому алгоритму достаточно менее детального описания. Помимо генерации с нуля, модель способна работать в режиме inpainting и outpainting. В первом случае нейросеть бесшовно восстанавливает недостающие части изображения, во втором — аналогичным образом дорисовывает картинки.
Наконец, разработчики отметили, что ограничили функциональность модели в генерации «спорных» изображений, чтобы избежать злоупотреблений со стороны пользователей. При этом в обучении модели по-прежнему использовались работы, защищённые авторским правом, но создатели нейросети утверждают, что внимательно отнесутся к запросам художников по исключению их работ из базы данных Stable Diffusion.