В демоверсию входят Mistral 7B и Llama 2 13B, оба в формате INT4, но вы также можете установить свои собственные модели, совместимые с TensorRT-LLM.
Это связано с тем, что Chat with RTX размещается прямо на вашем компьютере и работает на графическом процессоре GeForce вашего компьютера. В свою очередь, это означает отсутствие задержек в сети, а также отсутствие шансов у кого-либо подслушать ваш чат. Вы можете передать приложению папку с документами в формате текста, PDF, docx или XML, и оно сможет ссылаться на данные и выполнять их анализ за вас. Вы также можете указать ему видео или плейлист на YouTube, чтобы оно загрузило стенограммы и обобщило их для вас.
Очевидно, что для этого требуется достаточно мощный ПК. Вам понадобится не менее 16 ГБ системной оперативной памяти, карта серии GeForce RTX 30 или RTX 40 с не менее 8 ГБ видеопамяти и последняя версия Windows 10 или Windows 11. Вам также понадобится драйвер GeForce 535.11 или новее. После установки приложения вам также понадобится около 65 ГБ дискового пространства. Размер самой загрузки составляет около 35 ГБ, а весь процесс загрузки и установки на компьютере Ryzen 7 5800X3D занимает около полутора часов, большую часть из которых занимает установка.
Однако есть существенное ограничение, о котором стоит упомянуть. Возможно самая большая проблема с демо-версией Chat With RTX на данный момент заключается в том, что она не сохраняет контекст. Это означает, что каждый отдельный запрос к выбранной вами языковой модели рассматривается как новый диалог и не может ссылаться на предыдущие запросы для анализа. Она по-прежнему потенциально полезна для анализа наборов данных или обобщения видеороликов YouTube, но эта недостающая критическая функция делает ее менее интересной в качестве собеседника. По крайней мере на данный момент.
Если вы хотите узнать, что LLM может сделать с вашим набором данных, зайдите на веб-сайт NVIDIA, чтобы загрузить Chat с RTX и попробовать. Просто помните о требованиях, которые мы отметили выше.