Метод UBTree ускоряет вывод больших языковых моделей. Спекулятивное декодирование поручает черновик небольшой модели, а целевая проверяет сразу несколько предложенных токенов одним проходом и принимает их до первой ошибки. UBTree относится к той же семье параллельных драфтеров, что DFlash и DSpark, и закрывает их недостаток - они предлагают весь блок токенов одновременно и потому работают быстро, но на размытых распределениях целевой модели, где несколько продолжений близки по вероятности, угадывают хуже...