NVIDIA во время конференции Microsoft Build рассказала об очередном раунде оптимизаций для искусственного интеллекта в новейших графических драйверах R555, сообщает Wccftech. В частности, вчера вышел драйвер GeForce Game Ready 555.85.
Источник изображения: Vishal Bansal, Unsplash
Оптимизации нацелены на ряд больших языковых моделей и обеспечивают значительно более высокую производительность при запуске моделей с помощью ONNX Runtime (ORT) и DirectML на компьютерах с искусственным интеллектом NVIDIA RTX AI, как для типов данных INT4, так и для FP16.
NVIDIA оптимизировала рабочие процессы искусственного интеллекта в API WebNN для разработчиков веб-приложений, который теперь ускоряется с помощью DirectML и ORT. Благодаря такому ускорению популярные модели, такие как Stable Diffusion и SD Turbo, работают на WebNN в 4 раза быстрее по сравнению с WebGPU. Кроме того, PyTorch будет поддерживать серверные части выполнения DirectML.
NVIDIA и Microsoft продолжают сотрудничество, чтобы повысить производительность сложных локальных рабочих нагрузок с искусственным интеллектом на компьютерах с видеокартами RTX. Усилия компаний направлены на разные категории пользователей, включая любителей игр, создателей контента, разработчиков и энтузиастов.
