3 недели назад
Диффузию и авторегрессию описали как пути на одной решётке
Диффузионные и авторегрессионные (AR) модели давно считались разными классами генеративных моделей: диффузия работает с непрерывными полями, авторегрессия, с дискретными токенами. Недавние гибриды пытаются соединить достоинства обоих подходов, но каждый из них фиксирует расписание декодирования заранее, на этапе проектирования. Авторы статьи задаются вопросом: можно ли предсказать качество расписаний декодирования одной модели до самого декодирования при фиксированном числе шагов. Для этого диффузию,...