В рамках продолжающегося сотрудничества со Stability AI компания AMD представляет специальную версию модели Stable Diffusion 3.0 Medium, оптимизированную для работы на нейронных блоках (Neural Processing Unit, NPU) с архитектурой AMD XDNA 2.
Источник изображения: AMD, Stability AIМодель оптимизирована для вычислений в формате Block FP16. Идея заключается в том, что Block FP16 обеспечивает производительность INT8, сохраняя точность FP16, объясняли в AnandTech. Модель предназначена для генерации изображений по текстовому описанию и доступна в программном обеспечении Amuse версии 3.1 beta, разработкой которой занимается компания Tensorstack. Также потребуется обновить драйверы Adrenalin до последней версии. В режиме генерации EZ Mode потребуется сдвинуть слайдер качество до упора (HQ) и включить опцию XDNA 2 Stable Diffusion Offload.
Источник изображения: AMD, Stability AI
По сравнению с оригинальной версией Stable Diffusion 3.0 Medium, оптимизированный Block FP16 вариант требует меньше памяти. Для генерации изображений потребуется система с процессором из серии AMD Ryzen AI 300 или Ryzen AI Max 300, оснащённым блоком NPU производительностью не менее 50 триллионов операций в секунду (TOPS). По заявлению AMD, для работы модели требуется около 9 ГБ памяти.
Нейронный блок AMD XDNA 2 может использоваться в программном обеспечении Amuse не только для генерации изображений, но и для последующего повышения их разрешения с 1 до 4 МП.