Когда несколько недель назад Microsoft анонсировала ПК Copilot+, в воздухе витал один вопрос: почему я не могу просто запустить эти приложения искусственного интеллекта на своем GPU? На выставке Computex 2024 компания Nvidia наконец-то дала ответ.
Nvidia и Microsoft совместно работают над интерфейсом программирования приложений (API), который позволит разработчикам запускать свои приложения, ускоряющие работу ИИ, на видеокартах RTX. Речь идет о различных малых языковых моделях (SLM), входящих в состав среды выполнения Copilot, которые используются в качестве основы для таких функций, как Recall и Live Captions.
С помощью этого инструментария разработчики могут позволить приложениям запускаться локально на GPU вместо NPU. Это открывает возможности не только для более мощных приложений ИИ, поскольку возможности ИИ у GPU обычно выше, чем у NPU, но и для запуска на ПК, которые в настоящее время не подпадают под зонтик Copilot+.
Это отличный шаг. ПК Copilot+ в настоящее время требуют наличия блока нейронной обработки (NPU), способного выполнять не менее 40 тера операций в секунду (TOPS). На данный момент этому критерию соответствует только Snapdragon X Elite. Несмотря на это, графические процессоры обладают гораздо более высокими возможностями по обработке ИИ, причем даже у бюджетных моделей этот показатель достигает 100 TOPS, а у более дорогих вариантов - еще выше.
Помимо работы на GPU, новый API добавляет в среду выполнения Copilot возможности генерации с расширением поиска (RAG). RAG дает модели ИИ доступ к конкретной информации на локальном уровне, что позволяет ей предлагать более полезные решения. Мы видели RAG в полной мере в чате Nvidia с RTX в начале этого года.
Помимо API, на выставке Computex Nvidia анонсировала набор инструментов RTX AI Toolkit. Этот набор для разработчиков, который появится в июне, объединяет различные инструменты и SDK, позволяющие разработчикам настраивать модели ИИ для конкретных приложений. Nvidia утверждает, что с помощью RTX AI Toolkit разработчики смогут создавать модели в четыре раза быстрее и в три раза меньше, чем при использовании решений с открытым исходным кодом.
Мы наблюдаем волну инструментов, которые позволяют разработчикам создавать специальные приложения ИИ для конечных пользователей. Некоторые из них уже появились в ПК Copilot+, но я подозреваю, что в следующем году мы увидим гораздо больше приложений ИИ. В конце концов, у нас есть аппаратное обеспечение для работы этих приложений; теперь нам нужно только программное обеспечение.
Если вам понравилась эта статья, подпишитесь на нее, чтобы не пропустить новые полезные статьи!
Вы также можете читать меня в:
- Telegram: https://t.me/gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru