Найти в Дзене
Нейроарт Мастерская

Как создать изображение на прозрачном фоне с помощью нейросетей: подробная инструкция.

Здравствуйте, друзья!

Каждый из нас, хотя бы раз сталкивался с необходимостью найти изображение: надпись, объект, элемент одежды или мебели, логотип - которые можно было бы использовать как фон или, наоборот, наложить на уже существующий фон. Поиск подходящего изображения на стоках или в интернете может быть утомительным и длительным процессом.

Сегодня же я хочу предложить вам простое решение этой задачи.

Давайте рассмотрим это решение - форк Stable Diffusion под названием Forge. Он очень удобен в использовании и обеспечивает быструю работу даже на компьютерах с невысокой производительностью.

Для начала нужно скачать и установить Python и Git. Если они у вас не установлены и вы не знаете как это сделать, то вам сюда, в этой статье вы найдете подробную инструкцию по установке.

Далее давайте перейдем по ссылке на страницу разработчика и скачаем архив с Forge.

После загрузки архива его необходимо извлечь в заранее созданную папку. Затем найдите файл update.bat и запустите его, чтобы обновить Forge.

После обновления запустите файл
run.bat. Дождитесь завершения загрузки и установки необходимых зависимостей.

Важно! Перед запуском run.bat обязательно запустите файл update.bat, иначе будет использоваться старая версия со всеми возможными ошибками.

После установки запустится Forge.

Есть ещё один способ установки Forge - использовать команду в терминале. Для этого создайте папку и откройте в ней терминал (cmd). Введите команду:

git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git


После скачивания и установки найдите пакетный файл (bat) и запустите его. Когда все зависимости будут загружены и установлены, запустится интерфейс Forge.

-2

Ну и самый простой вариант. Скачать с моего бусти архив с портативной версией Forge. Распакуйте его в удобное место и запустите нужный файл в зависимости от того, какой вариант запуска Forge вам необходим. В этой сборке ничего скачивать, устанавливать и настраивать не нужно — всё готово к работе. В сборке предусмотрено несколько вариантов запуска:

* Normal - запуск интерфейса в стандартном режиме, без дополнительных параметров.
* Speed - оптимизированный режим для компьютеров с ограниченными ресурсами, который может повысить производительность на слабых ПК.

* Cuda - режим, который улучшает производительность на видеокартах NVIDIA.

-3

Затем, чтобы вы могли создавать изображения на прозрачном фоне, нужно установить специальное расширение, которое называется LayerDiffusion.

Если вы планируете использовать портативную версию, вы можете пропустить шаги по установке этого расширения.
-4

Для тех, кто хочет использовать стандартную версию со страницы разработчика, необходимо выполнить несколько простых шагов по установке расширения.

Для этого в запущенном интерфейсе Forge необходимо перейти во вкладку «Extensions» и выбрать пункт «Install from URL». Затем ввести адрес ссылки:

https://github.com/layerdiffusion/sd-forge-layerdiffuse
-5

Жмёте «Install» и ждёте, пока расширение загрузится и установится. После этого нужно будет перезагрузить интерфейс, нажав на кнопку «Apply and restart UI» переключившись во вкладку «Installed».

Интерфейс перезагрузится, и вы увидите расширение
LayerDiffuse в основном интерфейсе.

-6

Вот и всё! Вам осталось только выбрать нужную модель, активировать расширение, отметив пункт «Enabled», и выбрать режим работы из выпадающего списка в пункте «Method». Этот список предлагает различные режимы работы для вашего расширения. Вы можете использовать как SD 1.5 модели, так и SDXL.

Не беспокойтесь, если после выбора режима ничего не происходит. Просто подождите, пока выбранная модель загрузится. За процессом загрузки вы можете проследить в терминале.

-7

Опишу кратко, как работают режимы, а остальное, думаю, вы поймёте и сами.

Only Generate Transparent Image (Attention Injection)

Метод основан на обучении ИИ-модели концентрироваться на прозрачных областях изображения при его генерации. Это позволяет создавать реалистичные изображения с чёткими прозрачными фонами.

-8

Only Generate Transparent Image (Conv Injection)

Конволюционный слой извлекает из изображения информацию о прозрачности, которую затем использует ИИ для генерации изображений с прозрачным фоном.

-9

From Foreground to Blending

Метод генерирует изображения с плавным переходом от переднего плана к фону. Он обучает ИИ разделять изображение на передний план и фон, а затем смешивает их для создания итогового изображения.

From Foreground and Blending to Background

Этот метод улучшает предыдущий подход. Он генерирует изображения с переходом от переднего плана к фону, учитывая информацию о глубине и сегментацию изображения. Это создаёт более естественные и плавные композиции.

From Background to Blending

Этот метод фокусируется на плавных переходах от фона к переднему плану. Он использует информацию о глубине и сегментации, чтобы точно определить границы между объектами и фоном. Это создаёт композиции с естественными переходами.


From Background and Blending to Foreground

Данный метод расширяет предыдущий подход. Он уделяет особое внимание переднему плану изображения, используя усовершенствованные техники сегментации и обработки глубины. Это позволяет точно определить границы объектов и реалистично скомпоновать их с фоном. Создаются изображения с естественным и плавным переходом от фона к переднему плану.

По этому режиму у меня до сих пор вопросы, потому как принцип работы понятен, но у меня ни разу не получилось хоть какого либо внятного результата.

Всего доброго и до новых встреч.

Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.