Nvidia анонсировала новую нейронную сеть для создания контента с генеративным искусственным интеллектом следующего поколения,которая может синтезировать текст в изображения с передачей стиля и интуитивно понятными возможностями рисования. Информация об этом доступна на странице deep imagination.
Нейронная сеть под названием eDiff-I представляет собой диффузионную модель для синтеза изображений с заданным текстом. Руководствуясь тем, что диффузионные модели ведут себя по-разному на разных этапах выборки,ученые решили обучать сразу много нейронных сетей.Каждый из них подавляет цветовой шум через определенные промежутки времени.
Идея состоит в том,чтобы записать изображение,которое пользователь хочет объединить,сопоставить цвета со словами и нарисовать грубый набросок желаемого результата. Через несколько секунд нейросеть сгенерирует изображение с учетом всех нюансов,указанных в текстовом запросе.
Также eDiff-I может менять стиль.Один и тот же образ можно скомпоновать в стиле картин Ван Гога,средневековых фресок или старых компьютерных игр.
На первый взгляд,eDiff-I—это просто еще один генератор изображений,но с одной особенностью.Вы сами указываете положение объекта на изображении.
Таким образом компания надеется преодолеть основную проблему нейронных сетей.Добиться красивых изображений не сложно,но текстовые подсказки должны быть тщательно подобраны для достижения желаемого результата.
Здесь все просто.Напишите,что вы хотите сгенерировать,и нарисуйте эскиз.Один минус — пока нейросети доступны лишь узкому кругу людей.