Искусственный интеллект и глубокое обучение в наши дни постоянно попадают в заголовки газет, будь то ChatGPT, генерирующий плохие советы, самодвижущиеся автомобили, художники, обвиняемые в использовании искусственного интеллекта, медицинские советы от искусственного интеллекта и многое другое. Большинство из этих инструментов полагаются на сложные серверы с большим количеством аппаратных средств для обучения, но использование обученной сети для выводов может быть выполнено на вашем ПК с помощью видеокарты. Но насколько быстры потребительские графические процессоры для выполнения выводов ИИ?
Мы провели сравнительный анализ Stable Diffusion, популярной программы для создания изображений с помощью ИИ, на новейших графических процессорах Nvidia, AMD и даже Intel, чтобы посмотреть, как они работают. Если вы случайно пытались запустить Stable Diffusion на собственном ПК, вы, возможно, догадываетесь, насколько сложной - или простой! - это может быть сложно. Вкратце можно сказать, что графические процессоры Nvidia правят бал, а большинство программного обеспечения разработано с использованием CUDA и других наборов инструментов Nvidia. Но это не значит, что вы не можете запустить Stable Diffusion на других GPU.
В итоге мы использовали три разных проекта Stable Diffusion для нашего тестирования, в основном потому, что ни один пакет не работал на всех GPU. Для Nvidia мы выбрали версию Automatic 1111 с webui (открывается в новой вкладке). Графические процессоры AMD тестировались с помощью версии Shark от Nod.ai (открывается в новой вкладке), а для графических процессоров Arc от Intel мы использовали Stable Diffusion OpenVINO (открывается в новой вкладке). Сразу оговорюсь. Мы не разрабатывали ни один из этих инструментов, но мы искали то, что было легко запустить (под Windows) и что было достаточно оптимизировано.
Мы относительно уверены, что тесты Nvidia 30-й серии делают хорошую работу по извлечению близкой к оптимальной производительности - особенно при включении xformers, что дает дополнительный ~20% прирост производительности. Результаты RTX 40-й серии оказались немного ниже, чем ожидалось, возможно, из-за отсутствия оптимизации для новой архитектуры Ada Lovelace.
Результаты AMD также немного неоднозначны, но они обратны ситуации с Nvidia: GPU RDNA 3 работают довольно хорошо, в то время как GPU RDNA 2 выглядят довольно посредственно. Наконец, на графических процессорах Intel, несмотря на то, что конечная производительность, похоже, соответствует вариантам AMD, на практике время рендеринга значительно больше - вероятно, происходит много дополнительных фоновых процессов, которые замедляют его.
Мы также используем модели Stable Diffusion 1.4, а не более новые SD 2.0 или 2.1, в основном потому, что для обеспечения работы SD2.1 на оборудовании, отличном от Nvidia, потребовалось бы проделать гораздо больше работы (т.е. научиться писать код для включения поддержки). Однако, если у вас есть какие-то внутренние знания о Stable Diffusion и вы хотите порекомендовать различные проекты с открытым исходным кодом, которые могут работать лучше, чем те, что мы использовали, дайте нам знать в комментариях (или просто напишите Джарреду (открывается в новой вкладке)).