В этом уроке вы узнаете, как создаются фото, видео и музыка с помощью нейросетей, а также познакомитесь с принципом работы диффузионных моделей.
👩🏫 Автор урока: Анна Веклич, эксперт в сфере развития и продвижения высшего образования и науки, сооснователь @GPT4Telegrambot и автор курса «Нейрограмотность».
Принцип работы диффузионных моделей
Вы уже знакомы с основными типами нейросетей. Давайте еще раз их вспомним:
📌 Диффузионная модель – это второй тип моделей нейросетей (от слова «диффузия» – распространение).
Вы наверняка знакомы со многими диффузионными моделями, просто даже не подозревали, что это они. С помощью DM создаются изображения, видео и даже музыка!
Все WOW-картинки из интернета, которые мы видим каждый день, созданы через диффузионные модели.
На самом деле, диффузионные модели работают по похожей с LLM схеме:
Как именно это происходит?
Процесс работы диффузионных моделей
📌 Мы уже знаем, что нейросети не ищут картинки в Интернете и не подбирают похожие. Они все создают с нуля по вашему запросу. Каждый раз это уникальное изображение/видео.
Нам кажется, что нейросеть «рисует» изображение с чистого листа. Но все происходит ровно наоборот и этот процесс называется – обратная диффузия.
Шаг 1. Сначала нейросеть видит на картинке хаос или «шум». Представьте, что у вас есть белый лист бумаги, который полностью покрыт случайными кляксами чернил или пикселями, как неработающий экран телевизора.
Шаг 2. Затем представьте, что вы медленно начинаете превращать этот беспорядок в конкретное изображение, например, в кота, который лежит на столе. С каждым шагом вы делаете кляксы всё менее случайными и более организованными, пока они не образуют желаемое изображение.
В диффузионных моделях компьютер делает что-то похожее: он начинает с шума и постепенно уточняет его, следуя определенному алгоритму, пока не получится желаемый результат.
По аналогии создаются целые видео:
Теперь вы знаете, как работают диффузионные модели!
Словарь урока
📌 Диффузионная модель – это второй тип моделей нейросетей (от слова «диффузия» – распространение).
Задание
Не забудьте выполнить легкое проверочное задание на закрепление полученного материала, а также поставить оценку этому уроку. Все это можно сделать в образовательном боте «Нейрограмотность».