Черновик этой статьи лежал в столе у автора несколько месяцев. Он задумывал его как первый материал большого цикла о дискретных диффузионных моделях, но всё не было повода сесть и закончить. А потом Google выпустил Gemini Diffusion — и повод появился сам собой. Так что если вы давно хотели разобраться, как устроены генеративные модели не для картинок с пикселями, а для текста, кода и всего, что живёт в дискретном мире токенов, — добро пожаловать. Начнём с фундамента. Если вы хоть раз читали про диффузионные...