В этой статье пойдет речь о нейронных сетях. Вы наверняка не раз натыкались на пестрящие заголовки новостных лент о том, что такая-то компания создала очередную нейронную сеть позволяющую делать невероятные вещи. Например, как вам такое, нейросеть для предсказания структуры белков, которая называется AlphaFold. Автопилоты для автомобилей, синтез речи, генерация музыки, распознавание лиц, анализ и установление различных закономерностей в на финансовом рынке. В общем, где только нейросети не преуспели. Но в этой статье мы не будем разбираться в том как работают нейроные сети. Я хочу поделиться с вами опытом использования нейронной сети, которая может генерировать изображения по описанию, называется это все CLIP Guided Diffusion HQ
Эту нейросеть очень усердно обучали и самое интересное, что на вход в обучающей выборке давали не отдельный образ/предмет, а все изображение целиком и описание того, что на нем изображено. После подачи пары образ/описание нейросеть сама старалась найти общие закономерности. Обучение сети это отдельный и длительный этап, чем больше будет задано примеров на входе, тем более совершеннее будет результат. На этапе обучения CLIP Guided Diffusion HQ инженеры создавшие ее, не стали идти на компромисс и отправили на вход около 430 миллионов пар образов/описаний. И на самом деле результат превзошел все ожидания. Хочу поделиться с вами результатом своих экспериментов:
Еще у меня есть очень много различных других примеров, но я думаю на этом можно остановиться. Стоит обратить внимание, что на вход нейросети подается текст( слова словосочетания) на английском языке. На мой взгляд нейросеть хорошо и местами очень хорошо справляется с поставленной задачей, картины получаются неповторимыми, необычными и местами очень интересными. Кстати если, оставить тоже самое описание, то результат всегда будет разным, но достаточно похожим в одном стиле. Если пытаться в водить какое-то реальное описание, без художественного подтекста, то изображения получаются пугающими и несуразными. Поэтому я считаю, что данную нейросеть можно использовать для своих художественных изысканий.
Если хотите поэкспериментировать, предлагаю вашему вниманию Notebook , где можно сгенерировать нечто похожее.
Пользоваться, Notebook достаточно просто, сначала нужно сохранить его к себе на google disk, а после этого запустить его по шагам.
На этапе Settings for this run в переменную prompts, нужно добавить список заданных слов:
prompts = ['shishkin artist painting surrealism']
Стоит заметить, что на бесплатном тарифном плане colab.research, могут выделяться ресурсы, а именно доступ к графическому ускорителю в ограниченном формате. Также скорость обработки в бесплатной версии значительно ниже, чем в платной. Также хочу обратить внимание, что в переменной batch_size можно задавать количество получаемых результатов, лучше указать 1, так как если указать 2 и более на бесплатной версии, то notebook будет выдавать ошибку. Если процесс был запущен успешно, то на выходе вы должны увидеть поэтапную генерацию изображения. Еще один момент, изображение на выходе получается размером 256x256, что очень мало, по этому вы можете воспользоваться одним из бесплатных онлайн апскейлеров, которые также работают на основе нейронных сетей. В общем, если вам понравилась статья, ставьте лайки. Если заинтересует, продолжу выпускать материалы по данной тематике.