Лонг для тех, кто устал от генерации одинаковых красивых диджитал людей и арт интерпретации своих себяшек, и хочет сделать с помощью нейросети что-то еще, возможно более применимое в работе и творческом процессе.
Это уже моя не первая статья про использование нейросетей, ИИ, нейронок и генераторов в творческом процессе иллюстратора и графического дизайнера. Так как информации очень много и она разная, структурированно рассказать все про нейронки за раз или за два не получится. Самое главное, обращаю ваше внимание, я говорю со стороны художника и иллюстратора, который хочет приручить ИИ и превратить его в мощный вспомогательный инструмент в работе.
В этом лонгриде работы сделаны с помощью Stable Duffusion на сборке AUTOMATIC1111. Stable Diffusion Portable: вот отсюда:
К слову об этом, как я упоминала выше о большом комьюнити, полезные дополнения со стилями и прочим можно найти и скачать здесь:
и вот тут:
Если у вас нет технической возможности поставить ее себе на комп, можете протестировать вот эту условно бесплатную сборку:
В дальнейшем постараюсь раскрыть тонкости работы с другими популярными нейронками и покажу результаты тестов.
На вводном и полезном, что бы снять часть вопросов закончу. Двинем дальше по моим размышлениям.
Теперь у меня в паплайне работы над проектами появились нейронки. Мне для раскачки идей и воображения сначала хочется зайти в нейронку и ввести запрос там, а не в поисковик по картинкам для создания мудборда с референсами. И самое класное то ощущение прилива больших идей и решений на первой волне, когда появляются первые варианты генераций, нейрока имеет свое видение и как буд-то бы подсказывает мне разные не всегда очевидные, но интересные решения.
Но нейронки могут в разные стилевые направления и хочется протестировать их все. Хорошо получается объяснить им имитацию какого именно традиционного материала хочется получить. Самый на данный момент не интересный и сложно получаемый материал - это техника цветных карандашей. Но я думаю, в ближайшее время у меня получится победить и этот запрос. Возможно надо будет попробовать натренировать нейронку на моих карандашных работах.
В этот раз будет парочка стилей, в основном связанных с моей нежной любовью к акварели, цветам и паттернам.
А конкретнее в данном выпуске я погружу вас в тонкости генерации акварельных картинок, текстур, брызг, разных акварельных техник и стилей. Расскажу о промтах, что именно я писала для тех или иных результатов, какие чекпоинты я сочетаю между собой для более выразительного результата.
С акварелью в плане текстуры и передачи легкости, брызг и т.п. атрибутов определенной стилистики нейронки справляются на ура. Тут у меня особых проблем не возникло, тем более её уже натренировали именно на такой стиль акварельных иллюстраций и выложили в свободный доступ этот модуль.
На одной из картинок ниже вы можете заметить криво нарисованную синюю кляксу, как из пэинта - это еще одна крутая фишка, которая помогает объяснить нейронки, что вы от нее хотите увидеть. Идея была в том что бы медведь в брызгах воды ловил пастью рыбу, и через промт только словами добиться нужного эффекта не получалось, тогда я пошла во вкладку для дорисовки и пририсовала эту рыбу, что бы обозначить где и как она должна располагаться. И в общем-то это сработало сразу же при следующей генерации.
А вот что в итоге по моему скетчу нейронка дорисовала:
Да мишка немного видоизменился, но обе рыбки на второй картинке мне нравятся гораздо больше чем выше, решение по фону с разводами так же стало интереснее, поэтому можно доделать эту работу в ФШ, просто соединив все понравившиеся элементы с разных картинок в одну. Либо попробовать через настройку весов важных слов, усилению/уменьшению стилевых особенностей, добавить дополнительное описание с уточнением и использовать для генерации самый удачный вариант из предыдущих.
Для работы в таком стиле я скачала дополнительную модель (чекпоинт), которая была натренирована на работы одной популярной художницы Rachel Walker,
которая создает как раз такие экспрессивные работы акварелью. Но при этом если приноровиться к этой модели, регулировать силу эффекта, можно полностью уйти в другую стилистику с меньшим количеством разводов и пятен или наоборот указать слово "abstraction" и деталей будет меньше, а разводов и пятен больше; так же можно регулировать цвета их колличество, яркость, насыщенность и контрастность. Что по сути уже создает другие уникальные вариации.
Важный моментом является все же анатомическая верность объектов, пропорции и соблюдение основных законов композиции и перспективы (в случаях с пейзажами), если нет иной задумки. В этом помогают несколько фишек и инструментов контроля над результатом в SD:
- начинать с генерации для изначального запроса просто фотореалистичных изображений нужного объекта, с понравившимся результатом иду в Img2img
- использую кроп инструменты во встроенном редакторе Img2img для обозначения границ, вписывания в композицию, расширения поля
- для изменения формата использую инструмент Outpainting (где можно настроить в какую из четырех сторон или во все сразу расширять изображение, на сколько увеличивать в пикселях)
- дсли сразу знаю что мне нужен вертикальный или горизонтальный формат ввожу нужные соотношения в первом окне до всей генерации, но крайне редко, всегда можно доработать после
- для сложной многопредметной композиции, если не получается быстро сгенерить - делаю все отдельно, для дальнейшей склейки в ФШ. Но иногда получается объяснить нейронки, где необходим конкретный объект во вкладке inpainting
- и когда результат мне нравится, начинаю добавлять слова регулирующие стили.
Чекпоинт с акварельным стилем, который я использовала:
Есть ещё один, но я его еще не успела протестировать:
Естественно при генерации определенных стилей нужно не забывать указывать в промте основные слова маркеры. В данном случае:
watercolor painting style
aquarelle
fine art
white background
rachelwalker style
Joseph Turner style
Thomas Gertin style
и другие имена художников акварелистов.
Для первого акварельного чекпоинта не забывайте указывать имя художницы (rachelwalker style), по которой проходило обучение нейронки. Но если вы пишете акварелью и у вас свой наработанный стиль - можно попробовать обучить нейронку на ваших работах и тогда уже совсем не переживать о том, что вы у кого-то воруете. А жизнь по созданию предварительных этюдов значительно упроститься и можно будет подумать над цветовым сочетанием и детализацией картины заранее, наглядно понимая что будет лучше убрать, а что оставить.
Так же можно попробовать описать нейросети работы тех авторов, которые вам нравятся. Важно экспериментировать в подборе слов - анализировать и вербально характеризовать те моменты на изображениях, которые являются стилеобразующими. например как в ботанической акварели - самое важное это детализация и сохранение верной анатомии цветов.
Вот так получается стиль ботанической иллюстрации:
Если поковырять настройки подольше, подобрать интересную композицию, уточнить запрос получаются весьма приемлемые красивые результаты, хоть сразу размещайте на открытки и используйте для создания принтов и паттернов:
Ох вновь много всего получилось. Пора закругляться.
В последующих постах на эту тему буду уделять внимание конкретным узконаправленным стилям, промтам, разбору модулей и т.п. технической информации и творческой реализации.
Думаю стоит на этом пока закончить второй лонгрид по теме нейронок. Что бы не случилось перенасыщения картинками и информацией.
Спасибо за интерес! Творите и не закрывайтесь от нового!