Какой должна быть политика размаскирования в диффузионных языковых моделях: контролируемое исследование
Маскированные диффузионные языковые модели генерируют токены параллельно, но их эффективность зависит от того, какие из предсказаний фиксируются на каждом шаге. Выбором фиксируемых токенов занимается политика размаскирования. Обученные политики улучшают баланс между скоростью и точностью, однако они отличаются сразу по нескольким признакам: способу обучения с учителем, входным данным и ёмкости. Из-за этого неясно, какие именно решения дают выигрыш. Авторы статьи рассматривают обучение с учителем...