VAE (Variational Autoencoder) расшифровывается, как вариационный автоэнкодер . Это часть модели нейронной сети, которая кодирует и декодирует изображения в меньшее скрытое пространство и из него.
VAE позволяет улучшить визуализацию глаз при генерации изображений в нейросети Stable Diffusion.
Все используемые модели (v1, v2 или пользовательские) уже имеют VAE по умолчанию.
Когда речь идет о загрузке и использовании VAE, то имеется в виду использование его улучшенной версии. Это происходит, когда инструктор модели дополнительно настраивает часть модели VAE с дополнительными данными.
Таким образом, вместо того, чтобы выпускать новую модель, представляющую собой большой файл, инструктор выпускает только небольшую обновленную его часть.
Усовершенствованный VAE лучше декодирует изображение из скрытого пространства, поэтому мелкие детали восстанавливаются лучше. Это помогает детализировать глаза и другие мелкие детали.
Stability AI выпустила два варианта точно настроенных декодеров VAE: EMA и MSE. EMA создает более четкие изображения, а изображения MSE более плавные.
EMA и MSE совместимы со Stable Diffusion v2.0. Вы можете использовать их, но эффект будет минимальным. 2.0 уже очень хорошо рендерит глаза.
Нужно только один раз настроить VAE, и рабочий процесс создания арта после этого станет прежним.
Ниже приведены прямые ссылки для скачивания VAE:
Поместите загруженные файлы VAE в каталог:
stable-diffusion-webui/models/VAE
Чтобы использовать VAE в графическом интерфейсе AUTOMATIC1111, перейдите на вкладку «Настройки» и щелкните раздел «Стабильное распространение» слева. Найдите раздел под названием SD VAE . В раскрывающемся меню выберите файл VAE, который вы хотите использовать. Нажмите большую красную кнопку «Применить настройки» (Apply settings) вверху.
Рекомендуется универсальный VAE sd-vae-ft-ema-original (скачать можно и здесь: https://huggingface.co/stabilityai/sd-vae-ft-ema-original/blob/main/vae-ft-ema-560000-ema-pruned.safetensors).
Помещаем файл в папку stable-diffusion-webui/models/VAE.
Далее делаем перезапуск.
Во вкладке <Setting> выбираем настройки - Stable Diffusion и vae-ft-ema-560000-ema-pruned.safetensors — жмем <Apply settings> (применить настройки). Готово!
Теперь сгенерированные изображения будут без артефактов, дефектов и пятен на лицах с наибольшей долей вероятности!
Друзья, я пока еще не "заморачивалась" с VAE, и поэтому созданные мною изображения без использования VAE:
P. S. Приглашаю всех желающих на бесплатный мастер-класс «Специалист по нейросетям»! За один день вы познакомитесь с несколькими нейросетями (ChatGPT, Midjourney, Claude, YandexGPT, GigaChat, Kandinsky) и узнаете, как стать востребованным специалистом с достойным доходом.
<<<<<< Регистрация на мастер-класс >>>>>>
После регистрации вы получите ПОДАРОК — PDF-книгу «10 способов заработка на нейросетях ChatGPT и Midjourney».