NVIDIA выпустила демо-версию Chat with RTX — это набор программного обеспечения, который позволяет запускать на локальном компьютере пользователя личного чат-бота. Набор оптимизирован для ускорителей NVIDIA и требует видеокарту GeForce RTX из 30 или 40 серии, как минимум, с 8 ГБ видеопамяти. К другим системным требованиям относится наличие не менее 16 ГБ оперативной памяти, Windows 11 и драйвер не старше версии 535.11.
Источник изображения: кадр из видео-презентации Chat with RTX на YouTube канале NVIDIA GeForce
Размер архива демо-версии Chat with RTX составляет около 35 ГБ, что входит в комплект не уточняется, но, судя по первым отчётам в СМИ, комплект включает Python с большинством необходимых пакетов, несколько языковых моделей, оптимизированных с помощью TensorRT-LLM и другие компоненты для локального развёртывания.
Общение с чат-ботом происходит посредством веб-интерфейса. На компьютере запускается локальное веб-приложение, доступ к которому осуществляется через браузер, при этом информация о выполняемых операциях отображается в консоли Windows. Всё это очень похоже на то, что предлагают открытые веб-интерфейсы stable-diffusion-webui от AUTOMATIC1111 и text-generation-webui от oobabooga. Однако, NVIDIA Chat with RTX может работать с локальными документами, что в решении от oobabooga, насколько известно автору новости, пока недоступно. Помимо этого, Chat with RTX может обрабатывать веб-ссылки на видео YouTube, отмечают в The Verge.
Журналисты The Verge опробовали Chat with RTX и отметили, что чат-бот отлично справился со сканированием локальных документов, включая PDF-файлы, и давал точные ответы без задержек на системе с процессором Intel Core i9-14900K, 64 ГБ оперативной памяти и видеокартой RTX 4090 (ещё бы). Попытка просканировать 25000 документов на данной системе завершилась ошибкой, но с вменяемыми объёмами документов чат-бот справляется. Неприятным моментом может стать создание при обходе каталогов JSON файлов с технической информацией, необходимой для индекса файлов Chat with RTX.