Счастливые владельцы видеокарт от NVIDIA предыдущего и актуального поколений GeForce RTX 30 и RTX 40 получили в свое распоряжение фирменного чат-бота, способного работать локально на компьютере пользователя. Персональный помощник может использоваться во множестве сценариев, от составления сводок и до поиска ответов, сканируя видео и текстовые документы на жестком диске. Новинка получила название «Chat with RTX» и помимо наличия самых современных видеокарт с видеопамятью, никак не меньше 8 Гб, требует и и актуальные ОС семейства Windows – 10 или 11.
Аналогично помощь бота может потребоваться и при сильном нежелании смотреть ролик с youtube, но его содержание по какой-то причине важно для вас – робот за вас подскажет краткое содержание в буквенном виде, а так же может найти интересующий фрагмент в самом видео. Причем для этого ему достаточно нескольких секунд. Но по заверению ряда пользователей, бот выдает и ошибки, обратившись к совсем иному видео.
Источник фото: XDA developers
Но не единым ютьюб важен чат-бот от NVIDIA, его возможности по сканировании PDF-файлов, для ряда пользователей куда как полезней. При чем по качеству такой работы он опережает аналогичный продукт от Microsoft – бота Copilot. И в сравнении с конкурентами, куда можно добавить ещё и ChatGPT, при работе фирменной новинки Нвидиа практически не возникает задержек.
В момент установки чат-бота в систему интегрируется интерфейс веб-сервера и копия Python с библиотекой LLM Mistral либо Llama 2. А тензорная архитектура ускоряет скорость обработки запросов.
Интересная информация: для полной установки в систему Chat with RTX необходимо полчаса. Но при условии, что у вас процессор Intel Core i9-14900K и самая лучшая видеокарта в серии – GeForce RTX 4090. Разумеется, необходимо и свободное место на вашем SSD, примерно 40 Гбайт. А вот запросы «оперативного характера» достаточно скромны, хватит 3 Гбайт ОЗУ.
Естественно, не обошлось и без банки дегтя: бот периодически сбоит, если объем сканируемых документов превышает больше 20 тыс., либо работает крайне «нечистоплотно», оставляя в каждой из индексируемых папок файлы с расширением JSON.
Но возможно большинство серьёзных недостатков в будущих релизах будут исправлены.