Перенесите ИИ на свой компьютер и запустите его локально.
Вы, наверное, заметили, что инструменты генеративного искусственного интеллекта, такие как Google Gemini и ChatGPT, проникают в большинство технологий, которые мы используем каждый день. Эти инструменты основаны на гигантских моделях большого языка, или LLM: сетях, обученных на огромных объемах человеческих данных, чтобы они могли выдавать реалистичный текст, изображения или видео.
Однако для доступа к этим LLM вам не нужно облако — вы также можете запустить их на своем компьютере. Вы можете воспользоваться всем, что предлагают эти модели, находясь в автономном режиме, и вам не придется передавать свои данные Google или OpenAI.
Теперь Nvidia запустила собственное локальное приложение LLM, использующее возможности своих видеокарт серий RTX 30 и RTX 40, под названием Chat with RTX. Если у вас есть один из этих графических процессоров, вы можете установить чат-бота с генеративным искусственным интеллектом прямо на свой компьютер и адаптировать его к своим потребностям.
С чего начать
Прежде чем начать, убедитесь, что у вас установлены последние версии драйверов для вашего графического процессора Nvidia — в этом вам поможет приложение GeForce Experience на вашем компьютере, — а затем перейдите на страницу загрузки Chat with RTX. Для запуска инструмента вам потребуется Windows 11, графический процессор серии GeForce RTX 30/40 (или графический процессор RTX Ampere или Ada Generation с не менее 8 ГБ видеопамяти) и не менее 16 ГБ ОЗУ.
Имейте в виду, что Nvidia маркирует это как «демо-приложение», что, как мы полагаем, означает, что оно не находится в полностью законченной (и в результате вы можете столкнуться с некоторыми сбоями). Это также объемная загрузка, размер около 35 ГБ, поскольку она включает в себя пару LLM.
В конце концов вы должны найти приложение Chat with RTX, добавленное в меню «Пуск». Запустите его, и после нескольких секунд обработки интерфейс программы появится в вашем веб-браузере по умолчанию. В верхнем левом углу вы можете выбрать модель ИИ с открытым исходным кодом, которую хотите использовать: Mistral или Liama. После этого вы можете начать отправлять запросы, как если бы вы использовали ChatGPT или Google Gemini.
Если вы раньше использовали LLM, вы будете знать, на что способны эти генеративные механизмы искусственного интеллекта: получать помощь в составлении электронных писем, документов, текстовых сообщений и т. д., упрощать сложные темы или задавать вопросы, которые в противном случае вы могли бы задать поиск в Интернете (например, «какая игра подойдет для вечеринки для четырех взрослых?»).
Применяются стандартные правила ботов ИИ: старайтесь быть как можно более конкретными и подробными, и будьте осторожны, слишком доверяя полученным ответам (тем более, что это «демо»). Чат с RTX не может найти текущую информацию в Интернете, поэтому он не совсем подходит для получения ответов, которые должны быть актуальными, но он всегда попытается дать вам ответ на основе массы онлайн-текста, который был отправлен.
Внизу интерфейса у вас есть кнопка для создания нового ответа на последний запрос (если вас не совсем устраивает текущий), кнопка отмены (для возврата к предыдущему запросу), и кнопку удаления чата, которая очистит историю разговоров, чтобы вы могли начать заново. На данный момент нет другого способа экспортировать ответы, кроме как скопировать и вставить текст.
Добавление собственных данных и видеороликов YouTube
Даже в этой ранней форме Chat with RTX имеет несколько полезных функций, одна из которых — возможность основывать свои ответы на предоставленных вами документах: возможно, недельные исследования, или серия отчетов, которые вам нужно проанализировать, или текст который ты написал. Под заголовком «Набор данных» выберите «Путь к папке», затем направьте программу к папке, содержащей документы, которые вы хотите использовать.
Приложение просканирует папку, на которую вы указали (это может занять минуту или две, если в ней много файлов), а затем вы сможете начать вводить свои запросы. Бот просканирует текст в поисках подходящих ответов, а затем в конце ответа назовет файлы, которые он использовал. Вы можете запросить резюме, проверить факты или заставить бота сгенерировать новый текст на основе введенного вами текста.
Еще раз повторю: это ранняя версия технологии, точность которой, как известно, составляет менее 100 процентов. Тем не менее, интересно поиграть с LLM, который может работать с документами, которые вы ему даете, будь то стенограммы интервью или тома стихов.
Говоря о стенограммах, Chat with RTX также может анализировать видео YouTube и предлагать ответы на их основе через стенограммы, связанные с клипами. (Основываясь на проведенном нами тестировании, программа может автоматически генерировать расшифровки для видео, в которых их еще нет.) Это работает даже со всеми плейлистами YouTube, поэтому вы можете запустить программу одновременно через целую серию клипов.
Выберите URL-адрес YouTube в качестве набора данных, затем вставьте адрес видео или плейлиста в поле внизу. Если вы работаете со списком воспроизведения, вы можете указать количество видео, которые хотите включить из него, в поле справа. Наконец, нажмите кнопку загрузки в крайнем правом углу, и Chat with RTX загрузит и обработает текст расшифровки, готовый к любым подсказкам, которые могут у вас возникнуть.
Как и в случае с функцией сканирования документов, она может быть полезна для получения сводок или выделения фрагментов важной информации. Но, честно говоря,программа помечена как версия 0.2, и иногда не понимает, о каком видео мы говорим, но если вам нужны быстрые ответы о длинных видеороликах и плейлистах, на просмотр которых у вас нет времени, то Chat with RTX может оказаться полезным инструментом.
