Найти тему
Культурный рассвет

Помощь машин. Нейросети в кино. Stable Diffusion (часть 2)

Со Stable Diffusion работать не настолько просто, как с Midjourney, но если с ней разобраться, то открываются необъятные возможности (в какой-то степени даже более широкие). Так как основной съемочный процесс «Астероида-77F» завершился до того, как я открыл для себя эту нейросеть, то и в рамках проекта было генерировать особенно нечего. Однако некоторые вещи, тем не менее, удалось создать.

В частности для одной досъемочной смены потребовалось сгенерировать фотографию, где молодой худой мужчина и беременная девушка стоят рядом на поверхности другой планеты на фоне космической фермы. Задача была решена при помощи Photoshop и Stable Diffusion. Нейросеть создала определенное количество вариантов, дальше я выбрал наиболее подходящий, и уже докручивал его в графическом редакторе, используя фотомонтаж, а также накладывая фильтры с зерном и оптическими искажениями, чтобы максимально замаскировать искусственное происхождение изображения.

-2

Вне всяких сомнений при пристальном взгляде довольно быстро становится ясно, что перед нами «липа». Но если такая фотография не будет показываться слишком крупным планом, а также на ней не будет акцентировано излишнее внимание, то подобное решение вполне правомерно.

Что еще обязательно следует отметить о работе Stable Diffusion? Нейросеть, как и Midjourney (или любая другая) требует отбора вариантов и многократного уточнения, но она к этому процессу особенно чувствительна. В первой итерации практически невозможно получить качественное изображение. Поэтому работа с ней всегда связана с получением первого комплекта вариантов, отбора наиболее подходящего, генерации нового комплекта на его основе, отбора наиболее подходящего уже оттуда и т.д. При этом с каждым новым этапом качество изображения улучшается. Периодически также необходимо уточнять текстовый запрос.

Приведу примеры последовательной генерации вариантов постера для фильма (пока только гипотетических, дабы выбрать композицию и стиль).

-3
-4
-5

Stable Diffusion можно использовать и для рутинных задач – например, для создания раскадровок. Если снизить разрешение генерируемых картинок (а для раскадровок не требуется слишком больших изображений), то скорость работы нейросети в разы повысится, соответственно, описывая в запросе каждый кадр по отдельности, получается довольно эффективно формировать раскадровки.

В данном случае я в тестовом режиме решил сделать несколько кадров для сцены, в которой мужчина спускается с холма, видит деревню и входит в нее, пока некоторые жители смотрят на странника. Дело заняло примерно 30 минут, включая отбор вариантов. Полагаю, что ни один художник-раскадровщик, даже самый опытный, не сумел бы выдать такую скорость с таким результатом (может быть, я ошибаюсь).

-6

Но стоит вернуться к некоторым сложностям, которые встретят любого пользователя Stable Diffusion. Данная нейросеть существует и в онлайн-режиме, но им не рекомендуется пользоваться, т.к. он лишен основного функционала. Наиболее оптимальным подходом станет установка нейросети непосредственно на ПК, где будут использоваться его мощности. Т.к. мы имеем дело с open source, то сборки интерфейса могут быть различными (я использую Easy Diffusion) и, помимо прочего, к системе можно подключить любую модель, обученную для тех или иных целей. В Интернете есть большое количество хранилищ, где выкладываются модели для Stable Diffusion (какие-то для генерации аниме, какие-то для создания фотореалистических изображений, иные даже для рисования эротики). С моими задачами лучше всего справляется модель Clarity.

Кроме Midjourney и Stable Diffusion картинки могут генерировать такие нейросети как Kandinsky, BlueWillow или Dall- E, однако с ними я меньше работал, потому как в целом меньше впечатлили. Вполне возможно, что для ваших целей появится смысл поэкспериментировать и с ними.

Продолжение следует ...

_________________

Поддержите наши публикации своим лайком 👍 и подписывайтесь на канал. И обязательно делитесь своим мнением в комментариях! 💬 Впереди еще много интересных и актуальных материалов из мира кино и литературы!