Друзья, ControlNet творит чудеса. И сегодня я научу вас как творить чудеса с освещением и включать несколько слоев ControlNet одновременно, это даст нам огромный простор для творчества, а еще очень понравится фотографам.
Вы научитесь делать так же.
Что нам потребуется: 1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально. 2. Изображение на котором мы будем менять свет, у меня Бунтарка, у вас может быть что угодно. 3. Пресеты для света бесплатно выложены на Бусти, просто нажми скачать. Можешь нажать "отслеживать" чтобы не пропустить мои новые стримы и видео 😜
По всему интернету для вас собирал мои пирожочки.
Первым делом нам понадобится сгенерировать то, с чем мы будем играться, я взял Бунтарку вот из этого сета.
Бунтарка - обученная на синтетическом дата-сете текстовая инверсия.
Вот что у меня получилось.
Теперь отправляем все кнопкой в img2img, чтобы перенести настройки и промпт. И тут мы делаем непривычное - загружаем не ту фотографию с которой будем работать, а маску для света из пака выше.
Я уже по-генерил, но у вас тут фоток справа не будет.
Затем опускаетесь в ControlNet, тут нам надо нажать галку Enable, для активации, выбрать препроцессор depth_leres и модель depth, разрешение анотатора LeReS Resolution ставьте такого же размера по самой большой стороне как и ваша фотография, у меня 768. И собственно загружаем нашу фото основу.
Знаете ли вы, что с помощью настройки Remove Background % можно очень хорошо вырезать персонажа с фона? Теперь знаете, поиграйтесь.
Задаем наши любимые параметры генерации, у меня это будет 2м Карась, выставляем размеры равные размеру нашего изображения загруженного в ControlNet. Denoising strength ставим на 0.90.
Настройки вполне стандартные.
Теперь генерируем несколько вариаций с дефолтным светом и выбираем ту с которой будем играться, у меня будет вот эта.
Включаем свет.
Теперь у нас есть отправная точка, фиксируем сид и изменяем свет. Для этого надо нажать на карандашик рядом с крестиком.
Хватаем сетку за краюшек и двигаем куда хочется, мне хочется в лево.
Генерируем, теперь свет у нас с другой стороны.
Электричество кончилось.
А теперь сделаем источник света уже и обрежем.
Как будто-то свет из окна.
Еще раз меняем конфигурацию света, чтобы получить полностью совещенный кадр.
Включаем свет.
Теперь все освещено.
И если снова захотим выключить свет, то можем просто сдвинуть квадратик на черную область.
И света снова нет.
Кто балуется с выключателем?
А еще мы можем загрузить совсем другие карты освещения, например в виде сердечек и в один клик получить потрясающий эффект на фото. Настройки ControlNet даже не меняем.
Просто меняем картинку уменьшаем деноизинг, чтобы сердечки проступали на фото.
Милота и как мы любим в один клик.
Или можем например сделать луну из окна и свет свечи сбоку, надо просто выбрать карту освещения по интереснее, я сейчас как раз собираю пак разных карт, эффектов и фонов для ControlNet и тоже залью на бусти, так что подпишись, чтобы не пропустить.
Собрал уже более сотни различных текстур и эффектов.
Луна сверху, свеча сбоку, как на карте.
Что мы еще можем сделать, например можем загрузить текстуру огня и устроить пожар.
Этот и другие эффекты скоро тоже выложу.
Очень мягкий и уютный свет, как на закате.
А если уменьшим деноизинг еще сильнее, до 0.5, то буквально сожжем Бунтарку, как Жанну Д`арк.
Гори, гори ясно.
С учетом возможности включения многослойного ControlNet, это дает нам неограниченные возможности. Как вы не знали, что можно включить несколько слоев?
Сейчас расскажу, все очень просто. Идем в Settings, находим слева ControlNet, находим ползунок Multi ControlNet: Max models amount (requires restart), сдвигаем на сколько нам надо (помните что каждый слой это время и ресурсы видеокарты), мне пока хватает двух, но можно включить до 10 и комбинировать различные модели и препроцессоры. Для активация потребуется перезапуск web-ui.bat.
Что мы можем с этим сделать, а давайте включим еще один ControlNet, я возьму картинку из будущего пака с фонами, текстура листиков и открою её вместе с моделью depth и препроцессором depth_leres, уменьшу вес модели, выкручу вырезание фона у листиков.
Это уже второй слой, вон сверху написано.
И в качестве результата у меня будет свет загруженный в img2img, персонаж вытащенный картой глубины с первого СontrolNet и листики со второго.
Легко и просто правда.
А на этом у меня все друзья, скидывайте примеры ваших работ и ваши кейсы использования различных слоев ControlNet, возможности его применения просто поражают воображение, думаю мы еще долго будем открывать новые не стандартные методы применения ControlNet и различных вариаций препроцессоров и моделей. Увидимся на стримах.
----
Мой телеграм канал, все секреты и советы, мои работы, нейро-новости, промпты, ссылки на стримы и многое другое только в нем, подпишитесь!
В чате нейро-операторов, можно попросить картинку, поделиться опытом или задать вопрос.
Записи моих обучающих стримов доступны на Бусти, там же выложены ххх сеты и можно получить доступ в секретный чат, где я буду учить тебя генерить в ламповой и уютной атмосфере.
Мои видео уроки по Stable Diffusion можно посмотреть на YouTube, подпишитесь, чтобы не пропустить новые ролики.
