Компания NVIDIA совместно с Google выпустила оптимизацию для новой модели Gemma. Оптимизация доступна на всех платформах NVIDIA AI и позволяет запускать Gemma на графических процессорах NVIDIA. Разработчики могут использовать библиотеку NVIDIA TensorRT-LLM для ускорения производительности Gemma на графических процессорах NVIDIA RTX в различных средах, включая центры обработки данных, облако и ПК с графическими процессорами NVIDIA.
Gemma также будет работать на графических процессорах NVIDIA в облачной среде, включая экземпляры Google Cloud A3 и H200 Tensor Core с высокой производительностью и большим объемом памяти. Корпоративные разработчики могут использовать инструменты NVIDIA AI Enterprise для настройки и развертывания оптимизированной модели Gemma в производственных приложениях.
Кроме того, поддержка Gemma скоро появится в технологическом демо Chat with RTX, позволяя пользователям генерировать ИИ-чатботы на их локальных ПК Windows с помощью TensorRT-LLM и пользовательских данных, без необходимости передачи данных третьим лицам или подключения к Интернету.