Nvidia выпустила локальный генеративный AI

Чат-бот Chat with RTX умеет делать выжимки из PDF, doc/docx и xml, транскрибировать видео с YouTube и отвечать на вопросы об их содержимом. Под капотом — Mistral и Llama 2. За основу взят проект TensorRT-LLM RAG https://github.com/NVIDIA/trt-llm-rag-windows

Chat with RTX работает локально на вашем компьютере. Необходима видеокарта NVIDIA GeForce™ RTX 30-й или 40-й серии.