Одна из основных тем выступления NVIDIA на выставке Computex 2024 — внедрение искусственного интеллекта (ИИ) в операционную систему Microsoft Windows и игры, включая возможность локального запуска ИИ моделей. Для этого NVIDIA предлагает разработчикам новые инструменты, в частности, Windows получит новый API, с помощью которого будет проще задействовать видеокарту для выполнения локальных вычислений, связанных с ИИ, сообщает ComputerBase.
Оптимизированная модель требует меньше ресурсов и работает на RTX 4050 для ноутбуков быстрее, чем модель общего назначения на RTX 4090. Источник изображения: NVIDIA
У NVIDIA пока нет собственного процессора с нейронным блоком (NPU), чтобы войти в сегмент компьютеров с искусственным интеллектом Microsoft Copilot+ PC, однако есть видеокарты GeForce RTX, которые обеспечивают высокую производительность в задачах ИИ. NPU — решение для лёгких задач искусственного интеллекта, а графические процессоры — для тяжёлых.
Оценка вычислительных возможностей видеокарт GeForce RTX 40 в ИИ. Источник изображения: NVIDIA
Чтобы сделать потенциал видеокарт более доступным для разработчиков, Microsoft и NVIDIA совместно объявили о внедрении в операционную систему Windows нового API, который позволит выполнять локальные вычисления для ускорения малых языковых моделей (SLM) и генерацию дополненной информации (RAG) на видеокарте. Иными словами, будущие версии Windows будут готовы к этим задачам прямо «из коробки». Новый API появится в предварительных версиях Windows позднее в этом году.
Источник изображения: NVIDIA
К новым инструментам NVIDIA относятся: RTX AI Toolkit и Nvidia AI Inferencing Manager SDK (AIM). Благодаря RTX AI Toolkit модели искусственного интеллекта будет легче адаптировать к конкретным потребностям и оптимизировать для аппаратного обеспечения.
Источник изображения: NVIDIA
До сих пор разработчики в основном полагались на модели общего назначения, которые требуют больших вычислительных мощностей. С помощью RTX AI Toolkit разработчики смогут создавать модели меньшего размера, которые затем можно будет запускать локально в автономном режиме. Они должны работать на различных видеокартах, но лучшей производительности следует ожидать от GeForce RTX с тензорными ядрами. В свою очередь, новый комплект NVIDIA AIM SDK позволяет проверить, на что способна система пользователя, и, если вычислительных мощностей недостаточно, перейти в облако.
Источник изображения: NVIDIA
Анонсированный NVIDIA год назад Avatar Cloud Engine (ACE), позволяющий разработчикам наделять внутриигровых персонажей интеллектом, является одной из платформ, которая сможет получить преимущества от внедрения AIM.
Источник изображения: NVIDIA
Кроме этого, NVIDIA объявила о планах открыть исходный код инструмента для модификации игр RTX Remix в июне, сам набор инструментов и Remix Runtime SDK, а также о внедрении поддержки технологий RTX Video в DaVinci Resolve и медиаплеер VLC: это масштабирование и конвертация SDR видео в HDR в реальном времени.
