До сих пор было трудно оправдать установку специализированного оборудования для искусственного интеллекта в ПК. Nvidia пытается изменить эту ситуацию с помощью Chat with RTX, который представляет собой локальный ИИ-чатбот, использующий аппаратное обеспечение вашего GPU Nvidia для запуска ИИ-модели.
Это дает несколько уникальных преимуществ по сравнению с чем-то вроде ChatGPT, но у инструмента все еще есть несколько странных проблем. Здесь есть как типичные причуды, присущие любому чат-боту с искусственным интеллектом, так и более серьезные проблемы, которые доказывают, что Chat with RTX нуждается в доработке.
Знакомство с Chat with RTX
Самый очевидный вопрос о Chat with RTX: чем он отличается от ChatGPT? Chat with RTX - это локальная большая языковая модель (LLM). Она использует совместимые с TensorRT-LLM модели - Mistral и Llama 2 включены по умолчанию - и применяет их к вашим локальным данным. Кроме того, фактические вычисления происходят локально на вашей видеокарте, а не в облаке. Для чата с RTX требуется графический процессор Nvidia RTX 30-й или 40-й серии и не менее 8 ГБ VRAM.
Локальная модель открывает несколько уникальных возможностей. Прежде всего, вы можете загружать в Chat with RTX собственные данные. Вы можете создать папку с документами, направить на нее Chat with RTX и взаимодействовать с моделью на основе этих данных. Это обеспечивает более высокий уровень конкретики, позволяя модели предоставлять информацию по подробным документам, а не более общие ответы, которые можно увидеть в таких приложениях, как Bing Chat или ChatGPT.
И это работает. Я загрузил папку с различными исследовательскими работами, в которых подробно описаны DLSS 3 от Nvidia, FSR 2 от AMD и XeSS от Intel, и задал несколько конкретных вопросов о том, чем они отличаются. Вместо того чтобы перелопачивать интернет и переписывать статью, объясняющую различия - обычная тактика для таких продуктов, как Bing Chat, - Chat with RTX смог предоставить подробные ответы, основанные на реальных исследовательских работах.
Я не был шокирован тем, что Chat with RTX смог извлечь информацию из некоторых научных работ, но я был шокирован тем, что он смог так хорошо ее обработать. Документы, которые я предоставил, были, в общем, исследовательскими работами, наполненными академическим языком, уравнениями, от которых голова идет кругом, и ссылками на детали, которые не объясняются в самой работе. Несмотря на это, Chat with RTX разложил документы на составляющие, которые было легко понять.
Вы также можете направить Chat with RTX на видео или плейлист YouTube, и он извлечет информацию из транскриптов. Именно направленный характер этого инструмента позволяет сфокусировать сессию в одном направлении, а не задавать вопросы по любому поводу, как в ChatGPT.
Другой плюс в том, что все происходит локально. Вам не нужно отправлять свои запросы на сервер или загружать документы, опасаясь, что они будут использованы для дальнейшего обучения модели. Это упрощенный подход к взаимодействию с моделью искусственного интеллекта - вы используете свои данные на своем компьютере и задаете нужные вопросы, не беспокоясь о том, что происходит по ту сторону модели.
Однако у локального подхода Chat with RTX есть и минусы. Прежде всего, вам понадобится мощный компьютер с новейшим графическим процессором Nvidia и не менее 8 ГБ VRAM. Кроме того, вам понадобится около 100 ГБ свободного места. Chat with RTX фактически загружает используемые модели, поэтому занимает довольно много места на диске.
Галлюцинации
Вы же не думали, что в Chat with RTX не будет проблем? Как мы уже убедились, практически все инструменты искусственного интеллекта допускают определенную погрешность в своих ответах, и Chat with RTX не исключение. Nvidia предоставляет выборку недавних новостных статей Nvidia при новой установке, и даже в этом случае ИИ не всегда попадал в точку.
Например, выше вы можете видеть, что модель говорит, что Counter-Strike 2 поддерживает DLSS 3, но это не так. Я могу только предположить, что модель установила какую-то связь между статьей о DLSS 3.5, на которую она ссылается, и другой статьей в наборе данных, в которой упоминается Counter-Strike 2.
Более серьезное ограничение заключается в том, что у Chat with RTX есть только выборочные данные. Это приводит к некоторым странным ситуациям, когда предвзятость в рамках небольшого набора данных приводит к неправильным ответам. Например, выше вы можете видеть, как в одном ответе модель говорит, что DLSS Frame Generation не вносит дополнительной задержки в игровой процесс, а в следующем ответе она говорит, что интерполяция кадров вносит дополнительную задержку в игровой процесс. DLSS Frame Generation использует интерполяцию кадров.
В другом ответе (выше) Chat with RTX сказал, что для работы DLSS 3 не требуется Nvidia Reflex, и это неправда. Еще раз повторю, что модель основана на данных, которые я предоставил, и она не идеальна. Это напоминание о том, что модель искусственного интеллекта может быть неверной, даже если она имеет узкую направленность, как это делает Chat with RTX.
Я ожидал некоторых из этих странностей, но Chat with RTX все равно смог меня удивить. В разные моменты разных сессий я задавал случайный вопрос, совершенно не связанный с предоставленными мной данными. В большинстве случаев я получал ответ, в котором говорилось, что для модели недостаточно информации, чтобы дать ответ. Вполне логично.
Но в одной ситуации модель дала ответ. Используя данные по умолчанию, я спросил ее, как завязать шнурок, и модель предоставила пошаговые инструкции и ссылку на запись в блоге Nvidia об ACE (Nvidia отмечает, что в предварительной версии иногда неправильно указываются файлы ссылок). Когда сразу после этого я задал вопрос еще раз, был получен тот же стандартный ответ об отсутствии контекстной информации.
Я не уверен, что здесь происходит. Возможно, в модели есть что-то, что позволяет ей ответить на этот вопрос, или же она берет информацию откуда-то еще. Как бы то ни было, очевидно, что Chat с RTX не просто использует данные, которые вы ему предоставляете. У него есть возможность, по крайней мере, получать информацию из других источников. Это стало еще более очевидным, когда я начал спрашивать о видео на YouTube.
Инцидент на YouTube
Одним из интересных аспектов Chat with RTX является то, что он может читать транскрипты с видеороликов YouTube. У этого подхода есть некоторые ограничения. Главное из них заключается в том, что модель видит только транскрипт, а не само видео. Если в видео происходит что-то, что не включено в транскрипт, модель никогда этого не увидит. Даже с этим ограничением это довольно уникальная функция.
Однако у меня возникла с ней проблема. Даже если начать совершенно новую сессию с Chat with RTX, он запоминал видео, на которые я ранее давал ссылки. Этого не должно происходить, поскольку Chat with RTX не должен запоминать контекст текущего или предыдущего разговора.
Я расскажу о том, что произошло, потому что это может быть немного неприятно. В своей первой сессии я сослался на видео с YouTube-канала Commander at Home. Это канал о Magic: the Gathering, и я хотел посмотреть, как Chat with RTX отреагирует на сложную тему, которая не объясняется в видео. Неудивительно, что он не справился, но главное не это.
Я удалил старое видео и сделал ссылку на часовое интервью с генеральным директором Nvidia Дженсеном Хуангом. После ввода ссылки я нажал на специальную кнопку, чтобы перестроить базу данных, по сути, сообщив Chat with RTX, что мы общаемся с новыми данными. Я начал этот разговор так же, как и предыдущий, спросив: "О чем это видео?". Вместо того чтобы ответить, основываясь на видео Nvidia, на которое я ссылался, он ответил, основываясь на предыдущем видео Commander at Home.
Я попробовал перестроить базу данных еще три раза, и всегда с одним и тем же результатом. В конце концов я начал совершенно новую сессию, полностью выйдя из чата с RTX и начав все с чистого листа. Я снова связал видео Nvidia и загрузил расшифровку, начав с вопроса о том, о чем было видео. Он снова ответил, что речь идет о видеоролике Commander at Home.
Мне удалось добиться от Chat with RTX ответа о видео Nvidia, только когда я задал конкретный вопрос об этом видео. Даже после некоторого общения, когда я спрашивал, о чем это видео, ответ относился к видео Commander at Home. Помните, что в этой сессии Chat with RTX никогда не видел ссылку на это видео.
Nvidia утверждает, что это происходит потому, что Chat with RTX считывает все загруженные вами транскрипты. Они хранятся локально в папке, и приложение будет продолжать отвечать на вопросы по всем введенным вами видео, даже если вы начнете новую сессию. Вам придется удалять транскрипты вручную.
Кроме того, Chat with RTX не справляется с общими вопросами, если у вас есть несколько транскриптов видео. Когда я спросил, о чем было видео, Chat with RTX решил, что я спрашиваю о видео "Командир дома", и сослался именно на это видео. Это немного запутывает, но вам придется вручную выбирать транскрипты, о которых вы хотите поговорить, особенно если вы ранее вводили ссылки на YouTube.
Вы находите пользу
Если не считать всего остального, Chat with RTX - это демонстрация того, как можно использовать локальное аппаратное обеспечение для использования модели искусственного интеллекта, чего так не хватало ПК в последний год. Для начала работы не требуется сложной настройки и глубоких знаний о моделях ИИ. Вы устанавливаете его, и если вы используете новейший графический процессор Nvidia, он работает.
Трудно сказать, насколько полезен Chat with RTX. Во многих случаях облачный инструмент, такой как ChatGPT, строго говоря, лучше из-за широкого спектра информации, к которой он может получить доступ. Вы должны найти в нем пользу. Если вам нужно разобрать длинный список документов или поток видеороликов на YouTube, на просмотр которых у вас нет времени, Chat with RTX предоставит вам то, чего вы не найдете в облачном инструменте - при условии, что вы уважаете причуды, присущие любому чатботу с искусственным интеллектом.
Однако это всего лишь демонстрация. С помощью Chat with RTX Nvidia демонстрирует, на что способна локальная модель ИИ, и надеется, что этого будет достаточно, чтобы заинтересовать разработчиков в создании собственных приложений для локального ИИ.
Если вам понравилась эта статья, подписывайтесь, чтобы не пропустить еще много полезных статей!
Также вы можете прочитать меня здесь:
- Telegram: https://t.me/gergenshin
- яндекс Дзен: https://dzen.ru/gergen
- официальный сайт: https://www-genshin.ru
