В PyTorch 2.7 завезли оптимизацию генерации через Fast FP16. Заявляется ускорение на 20%, без сильного влияния на качество. У меня на тестах в комфи показывается в районе 10%. Можно скрестить с SageAttention для ускорения в 2 раза, но сильно упадёт качество. В последней портативной сборке comfy есть отдельный скрипт для запуска fast fp16. У меня при запуске комфи менеджер начал жаловаться на недостающие ноды, но при их установке через сам менеджер зависал. Поставил вручную с гитхаба в папке custom nodes, и тогда оно жаловаться перестало. Воркфлоу в комментах. У вас какие показатели? ———————————————————— 🔥 Создай своего цифрового двойника, оживи персонажа, или интегрируй бренд. Напиши — @AndreyBezryadin
В PyTorch 2.7 завезли оптимизацию генерации через Fast FP16.
Заявляется ускорение на 20%, без сильного влияния на качество. У меня на тестах в комфи показывается в районе 10%. Можно скрестить с SageAttention для ускорения в 2 раза, но сильно упадёт качество.
В последней портативной сборке comfy есть отдельный скрипт для запуска fast fp16. У меня при запуске комфи менеджер начал жаловаться на недостающие ноды, но при их установке через сам менеджер зависал. Поставил вручную с гитхаба в папке custom nodes, и тогда оно жаловаться перестало.
Воркфлоу в комментах.
У вас какие показатели?
————————————————————
🔥 Создай своего цифрового двойника, оживи персонажа, или интегрируй бренд. Напиши — @AndreyBezryadin
