Диффузионные модели генерируют невероятные изображения. Если попросить DALL-E 2, систему генерации изображений, созданную OpenAI, нарисовать картину “золотых рыбок, глотающих кока-колу на пляже”, она выдаст сюрреалистическое изображение именно того, что вы просили. Программа могла столкнуться с изображениями пляжей, золотых рыбок и кока-колы во время обучения, но маловероятно, чтобы она увидела изображение, в котором все три составляющие были бы вместе. Тем не менее, DALL-E 2 может собрать эти концепции в нечто, чем мог бы гордиться сам Дали.
Ключевая идея, позволяющая создавать изображения DALL-E 2, а также его конкурентов Stable Diffusion и Imagen, пришла из мира физики. Система, лежащая в их основе, известная как модель диффузии, в значительной степени вдохновлена неравновесной термодинамикой, которая регулирует такие явления, как распространение жидкостей и газов. "Есть много методов, которые изначально были изобретены физиками, а теперь очень важны в машинном обучении", - говорит Ян Сонг, исследователь машинного обучения в OpenAI.
Яша Соль-Дикштейн, ученый из Стэнфдорского университета, использовал принципы диффузии для разработки алгоритма генеративного моделирования. Идея проста: алгоритм сначала превращает сложные изображения в обучающем наборе данных в простой шум – как если бы вы перешли от пятна чернил к диффузной светло-голубой воде – а затем учит систему обратным процессам, превращая шум в изображения.
Джонатан Хо и его коллеги объединили методы Сола-Дикштейна и Ян Сонга, чтобы сделать возможными современные модели диффузии, которая стала называться "Denoising Diffusion Probabilistic Models" (DDPM). Хо переработал и обновил модель диффузии Сола-Дикштейна, использовав некоторые идеи Сонга и другие достижения из мира нейронных сетей. "Я знал, что для того, чтобы привлечь внимание сообщества, мне нужно заставить модель генерировать образцы хорошего качества", – сказал он. "Я был убежден, что это самое важное, что я мог сделать в то время". Теперь в DALL-E 2, Stable Diffusion, Imagen и других коммерческих моделях используется та или иная вариация DDPM.
Материал подготовлен на основе информации открытых источников: wired.com