Обработка загруженных изображений
Это продолжение рассказа о работе с нейросетевой моделью Dream. Начало можно найти по этим ссылкам:
Как создавать картинки с нейросетью Dream: подробное руководство. Часть 1
Как создавать картинки с нейросетью Dream: подробное руководство. Часть 2
Как создавать картинки с нейросетью Dream: подробное руководство. Часть 3
***
Dream — скромное на первый взгляд приложение для генерации картинок, о котором тем не менее можно очень долго рассказывать. Одних стилей в нём на сегодня 82, и их количество продолжает расти. Поэтому запихнуть руководство по работе с Dream в заявленные четыре части у меня никак не получается. Теперь я надеюсь уложиться в шесть :D
В этой части расскажу и покажу, что делать вот с этой микрокнопкой:
Эта маленькая кнопочка делает большое дело: запускает режим, в котором можно редактировать загруженные изображения с использованием текстовых подсказок. Функция этой кнопки почти идентична функции кнопки "Редактировать с помощью текста", о которой (довольно нелестно) говорилось в прошлой статье, с одной разницей: вы работаете не с только что сгенерированными нейросетью картинками, а с изображениями, которые вы загружаете сами.
После нажатия на кнопку открывается галерея на вашем устройстве. В первый раз вам потребуется дать два разрешения на её использование: сначала вас вежливо попросит об этом приложение, а затем уточняющий вопрос задаст уже операционка.
Как именно можно редактировать фотографии (и как нельзя), я покажу на примере весёлого дельфина, приплывшего из глубин Интернета.
Внятных готовых инструкций по работе с Dream мне найти не удалось, так что всё пришлось изучать самостоятельно старым добрым методом научного тыка. Метод принёс плоды, и сейчас я уже довольно чётко понимаю, что нужно делать. Но если вы обнаружите что-то ещё, что осталось мною недопонятым или ненайденным, пишите об этом в комментариях — почитаю с интересом и благодарностью.
Итак, для начала вы можете кадрировать ваше изображение и обрезать всё ненужное. Рамка кадрирования имеет фиксированные пропорции, которые задаются в самом начале работы — там же, где вы выбираете формат картинки при обычной генерации. Другими словами, бесплатно это либо 9:16, либо 1:1. Вы можете двигать её и изменять её размеры, но не пропорции.
После кадрирования возвращаемся назад, и теперь под окном ввода текста появляется фрагмент загруженной картинки с кнопкой "Добавить маску". Пока что я эту кнопку проигнорирую, но она нам ещё пригодится. Одновременно нейросеть ожидает ввода текстового запроса (подсказки).
Обратите внимание, что в этом режиме стили становятся недоступны; также становятся неактивными кнопки Undo/Redo на экране генерации.
Какие подсказки понимает Dream?
Во-первых, вы можете менять стиль фотографии — другими словами, технику исполнения. Ниже в галерее примеры с текстовыми подсказками "чёрно-белый", "акварель", "рисунок углем", "рисунок тушью" и "мозаика":
Не всё у Dream выходит гладко, но она старается.
Чтобы выбранный эффект был применён только к части изображения, вам нужно сообщить об этом нейросети, закрыв эту часть маской. Для этого нажмите на кнопку "Добавить маску".
Если вы привыкли работать в "Фотошопе" и аналогичных программах, где маскирование тоже используется, обратите внимание на этот момент: здесь редактироваться будет то, что закрыто маской, а не наоборот.
На устройствах с тачскрином маска наносится методом прицельного возюкания пальцем по экрану. Идеально обвести контуры у вас вряд ли получится, но не переживайте: искусственный интеллект, скорее всего, поймёт ваши намерения и уточнит всё сам.
На примерах ниже я закрываю маской всё, кроме дельфина, если хочу внести изменения только в море и небо, а зверюшку оставить как есть. И наоборот, закрашиваю только дельфина, если хочу изменить только его.
После каждой генерации маска автоматически сбрасывается, так что, если вы хотите повторить процесс, вам придётся вернуться назад и нарисовать её заново.
Результат применения текстовой подсказки "чёрно-белый" к замаскированному дельфину. Небо и море остались голубыми:
Но создание карандашных рисунков из фото — далеко не всё, на что способна Dream. Если нейросеть может определить, что изображено на картинке — то есть если картинка чёткая и содержит (желательно один) узнаваемый объект, вы можете манипулировать им и без маски, просто называя его в тексте. В этом случае подсказки составляйте примерно так же, как при использовании кнопки "Редактировать с помощью текста", то есть в виде осмысленной просьбы к нейросети, вроде "сделай дельфина золотым" или "сделай дельфина динозавром":
На последней картинке в галерее дельфин не упоминался, подсказка была общей: "сделай из этого ночь".
Обратите внимание, что Dream не меняет саму картинку и отказывается подвергать беднягу дельфина серьёзным мутациям. Границы его контура остаются более или менее постоянными. Вырастить дельфину крылья или щупальца Dream отказывается, потому что это означало бы модификацию основного объекта, а в этом режиме, очевидно, нейросеть такого не делает.
Если ваш запрос будет содержать названия не относящихся к картинке объектов или явлений, результаты могут оказаться не тем, чего вы ожидали:
Лучше всегда помнить о том, что картинка на выходе должна не слишком радикально отличаться от исходного изображения, и составлять подсказки исходя из этого.
И напоследок, чтобы отвлечься от дельфинов и дать старт процессу генерации идей, посмотрите на этот портрет юного Дэниела Рэдклиффа в технике акварели, а также в образе злобного инопланетянина и гламурной модели. На последней картинке нейросеть сделала его лет на шестьдесят старше:
Но возможности Dream на этом не заканчиваются. Осталось поговорить о последней неохваченной на сегодня функции нейросети: в одной из ближайших публикаций расскажу о генерации картинки по картинке.
***
Читая материалы на моём канале, пожалуйста, обращайте внимание на дату публикации и номер версии программы, если он указан. В мире нейросетей изменения происходят постоянно, и информация может устаревать очень быстро.
