Нейросети для архитекторов и визуализаторов – современный и мощный инструмент, которому можно доверить задачи, на которые уходит слишком много времени при работе «вручную» – вроде улучшения растительности в рендере или смены времен года. Мы в Godekan решили продемонстрировать возможности Stable Diffusion для визуализаций; на примерах мы покажем, как ЦУМ превратится в футуристичное здание, и как выглядели бы известные здания Махачкалы, если бы за работу взялась Заха Хадид или любители Киберпанка 2077.
Несколько слов перед стартом
Мы расскажем о базовых инструментах и возможностях нейросетей, которые архитекторы и визуализаторы могут использовать для доработки рендеров, улучшения качества и внесения точечных изменений в картинку. Мы в бюро активно используем нейросети для точечных доработок, для которых вручную уходит гораздо больше времени и усилий – и рекомендуем вам поступить так же. Подробнее о задачах мы расскажем в конце, а пока перейдем к примерам и генерациям.
Какой инструмент используем для работы
Для работы мы используем Stable Diffusion в оболочке InvokeAI, в данном случае нам понадобится раздел Generation. Для генераций использую движок Photon – он подходит для создания фотореалистичных изображений на основе промтов тоже; к сожалению, возможности нейросети для созданий сразу по тексту готового изображения, в котором будут учтены детали и задумки архитектора, ограничены, поэтому мы будем использовать LoRa – это специальные дополнения, которые натренированы на конкретных референсах, и позволяют генерировать изображения по ним. Они-то нам и пригодятся для работ в стиле Захи Хадид.
Базовая визуализация в Invoke с помощью промта
Начнем со здания ЦУМа. Попробуем улучшить изображение только с промтом «building of the future», без дополнительных уточнений, посмотрим, что получится. Для более корректной генерации оставляем включенным режим High Resolution Fix (HRF), но уменьшаем размеры изображения (его можно изменить в специальном разделе позже).
HRF-функция позволяет генерировать изображения в большом разрешении без ошибок и потери точности. Все дело в том, что нейросеть изначально обучена на небольших картинках размером 512x512, для генерации изображений большего размера эти «кусочки» соединяются в одно, и чтобы итоговая картинка получилась качественной, нам и нужен этот режим.
первый вариант генерации здания ЦУМа без дополнительных настроек, только с промтом
Получилось не очень, архитектура сильно изменилась, в ней нет стройности. Попробуем поступить по-другому: используем LoR'ы с сайта Civitai.com. LoR’ы как раз позволят нам проработать стилизацию ЦУМа в стиле Захи Хадид.
Как выглядело бы здание ЦУМа в стиле Захи Хадид?
Для работы мы использовали только LoRa, убрали промт и настроили «вес» так, чтобы нейросеть не вносила слишком сильных изменений в картинку, оставив основную задумку без изменений.
Вот что у нас получается:
вот так могло выглядеть здание ЦУМа в Махачкале, если бы его проектировали в бюро Zaha Hadid Architects
Теперь попробуем лучше сохранить архитектуру и сделать так, чтобы нейросеть допускала меньше ошибок в образах людей и автомобилей, плюс добавим яркости картинке:
для сохранности общих черт здания мы меняли и подбирали настройки-контроллеры, которые помогают прорабатывать отдельные детали, сохраняя другие без изменений
Русский театр в стиле киберпанк: как нейросеть видит архитектуру Махачкалы
Попробуем теперь изображение Русского театра – известный архитектурный образ Махачкалы – представить в стиле Киберпанк. Здесь мы тоже использовали LoRa, обученные уже на примерах Киберпанка, силу действия установили на 0,5 – 0,6 опять же для сохранности общей изначальной концепции здания.
для сохранности общих черт здания мы меняли и подбирали настройки-контроллеры, которые помогают прорабатывать отдельные детали, сохраняя другие без изменений
Русский театр в стиле киберпанк: как нейросеть видит архитектуру Махачкалы
Попробуем теперь изображение Русского театра – известный архитектурный образ Махачкалы – представить в стиле Киберпанк. Здесь мы тоже использовали LoRa, обученные уже на примерах Киберпанка, силу действия установили на 0,5 – 0,6 опять же для сохранности общей изначальной концепции здания.
во втором варианте изображение получилось менее реалистичным, но больше похоже на скрин из игры или аниме
Напоследок расскажем, с какими еще задачами может помочь Invoke и почему мы рекомендуем архитекторам и визуализаторам именно эту оболочку.
Преимущества Stable Diffusion для работы архитектора
- Доступность инструмента: сама нейросеть бесплатна, к тому же по ней очень много обучающих материалов в открытом доступе;
- Простая настройка и логика работы, подойдет тем, кто хочет разобраться в логике работы с нейросетью для визуализаций;
- Приятный интерфейс для работы с детализациями и дорисовки фрагментов;
- Подойдет для новичков-архитекторов и визуализаторов для погружения в генеративный ИИ.
И напоследок разберемся,
С какими еще задачами архитектора может помочь нейросеть
Конечно, задача получить сразу детализированное и качественное изображение, на котором точно переданы все задумки, текстуры и детали. К сожалению, с одной генерации, без референсов и доработок, это невозможно, но есть вполне конкретные задачи архитектора, которые можно ускорить с помощью нейросети:
- Улучшить качество растительности, даже если вы покажете на референсе очень условно, нейросеть поможет это сделать
- Сгенерировать и добавить реалистичных людей, которые на рендере не будут выглядеть, как куклы, добавить детали одежды, аксессуары и пр;
- Доработка интерьера в окнах;
- Коррекция атмосферы, света, неба, добавление облаков разной формы.
Если материал был для вас полезным и интересным – поддержите наш канал комментариями и лайками и напишите, какие еще вопросы в разработке и применении нейросетей в архитектурных проектах актуальны для вас. Мы обязательно разберем их в следующих постах и на нашем канале в телеграм.
На нем, кстати, мы рассказываем не только о нейросетях и трендах в архитектуре, но и о жизни бюро, так что подписывайтесь и приходите к нам: ссылка.