NVIDIA представила новую функцию под названием «Chat with RTX», предлагающую альтернативу для пользователей, которым не нравятся AI онлайн-чаты. Этот чат-бот работает локально на графических процессорах линеек GeForce RTX 30 и RTX 40, используя программное обеспечение TensorRT-LLM и Retrival Augmented Generated (RAG), полностью поддерживаемое графическими процессорами RTX и ускоряемое встроенными ядрами Tensor.
Целью NVIDIA Chat with RTX является предоставление каждому возможности использовать возможности своих видеокарт для решения любых задач. До сих пор в основном мы видели, как искусственный интеллект справляется с обработкой изображений и видео, но его использование ограничивалось большими центрами обработки данных из-за ресурсов, необходимых для таких сложных моделей ИИ со множеством переменных.
Теперь пользователи могут загрузить облегченные версии этих моделей Al, некоторые из которых доступны для скачивания бесплатно. Но, как и в случае с любой новой технологией, настроить ее для обычных пользователей может быть немного сложно. NVIDIA, очевидно, хотела сделать этот процесс намного проще с помощью всего одного приложения, которое запускается на домашнем компьютере через браузер, что делает весь процесс более удобным для пользователя.
Chat with RTX — это больше, чем просто текстовый процессор, он может получать доступ к файлам различных форматов, включая текст, PDF, doc/docx и xml. Он использует возможности популярных моделей большого языка, таких как Mistral или Llama2, для генерации ответов, а также может использовать онлайн-ресурсы, такие как видео на YouTube.
В настоящее время NVIDIA подтверждает поддержку только графических процессоров GeForce RTX 30 и RTX 40, без упоминания серии RTX 20. Графические процессоры должны иметь как минимум 8 ГБ видеопамяти, исключая таким образом модель RTX 3050 6 ГБ.
Chat with RTX скоро будет доступен для скачивания бесплатно. Для получения дополнительной информации вы можете перейти по данной ссылке.