Chat with RTX – чат-бот от компании NVIDIA для локального использования языковых моделей. ИИ работает без подключения к сети на компьютерах с видеокартой RTX 30 или 40 и 16 ГБ оперативной памяти. Устанавливается на ПК с Windows 11 и выше в качестве отдельной программы.
Обзор функций
Нейросеть Chat with RTX представляет собой самообучаемый чат-бот, работающий по принципу ChatGPT или Copilot. В основе лежит текстовый генеративный ИИ, выполняющий поставленные задачи без использования удаленных серверов.
Нейросеть поддерживает две языковые модели: Mistral и Llama 2. Доступно переключение между ними в процессе использования программы.
Чат-бот умеет:
- отвечать на вопросы, вести диалог и учитывать контекст;
- составлять краткое содержание видеороликов в YouTube по ссылке;
- взаимодействовать с текстовыми файлами в разрешении PDF, XML, DOC и DOCX;
- анализировать содержание документов и заметок, созданных на устройстве;
- писать текстовые материалы в форматах TXT, Word и PDF.
Нейросеть Chat with RTX NVIDIA использует базу данных, обновлённую по состоянию на середину 2022 года. Тестирование показало, что чат-бот уступает по качеству ответов ChatGPT на основе GPT 3.5, но искусственный интеллект GPT large language model LLM можно обучать самостоятельно.
Нейросеть поддерживает загрузку любого объема информации. ИИ сохраняет полученные от пользователя сведения в локальную базу данных и использует для дальнейших ответов через умный поиск RAG от NVIDIA.
На момент тестирования ИИ не умеет взаимодействовать с аудиозаписями и изображениями. Нейросеть Chat with RTX на русском пока недоступна. Чат-бот обрабатывает вопросы и предоставляет ответы на английском языке.
Инструкция по установке
Установочный файл для использования нейросети Chat with RTX скачать бесплатно можно на официальном сайте NVIDIA. Инсталлятор загружается в ZIP-архиве размером 35 Гб.
Скачанный инсталляционный пакет следует распаковать в любую папку и запустить установщик. Процесс установки должен проходить при наличии интернет-подключения на компьютере.
Инсталлятор автоматически скачает дополнительные компоненты: библиотеки для Python и среду Anaconda. Установленная программа занимает до 70 Гб памяти на компьютере. Доступна раздельная установка языковой модели Mistral или Llama 2.
Пакеты и компоненты нейросети инсталлируются, не затрагивая систему. После установки на рабочем столе автоматически появится ярлык для использования программы. Запуск нейросети занимает 1 минуту. Чтобы удалить NVIDIA Chat RTX с компьютера, следует переместить папку с распакованными файлами в корзину.
Особенности
- нейросеть от NVIDIA с функциями чат-бота;
- создает текстовые файлы в форматах TXT, Word и PDF;
- работает локально без подключения к интернету;
- занимает 70 Гб памяти на SSD-диске;
- требуется актуальная версия драйвера NVIDIA;
- скачивается и используется бесплатно.
Подписывайтесь на T4S.TECH в Telegram. Публикуем новости, обзоры и забавные факты о технологиях.