Я сам долгое время искал гайд по установке нейросетей локально на ПК. Большинство из них углублялись в ненужную для обычного пользователя или энтузиаста теорию да и процесс установки был сильно обобщен и не давал особо конкретных действий, поэтому я пишу эту серию статей, которые помогут многим установить себе нейросети локально на ПК
В этой статье я подробно расскажу, как установить нейросеть Mistral-7B для генерации текста
Перед началом основной статьи напишу, какое минимальное железо потребуется:
Видеокарта: Nvidia RTX минимум 3xxx +
Видеопамять: 6 Гб +
Оперативная память: 16 Гб +; DDR4 +
Свободное место на диске: 20 Гб +
Процессор: если у вас уже установлены все вышеперечисленные компоненты, то процессор не уступает им в мощности. Да и в ходе генерации основная нагрузка ложится на видеокарту, поэтому процессор не играет особой роли
Операционная система: Windows 10 +
Обязательные действия перед началом установки
1. Установка Python 3.10
Обязательно устанавливаем именно эту версию, так как более новые нейросети не поддерживают
Скачать можно по этой ссылке, скачивание максимально простое, выбираете файл в зависимости от вашей ОС, после скачивания открываете его и обязательно в самом начале поставьте галочку Add to PATH
2. Установка Git
Здесь можно уже выбрать последнюю доступную версию, скачивание также максимально стандартное, не буду на нем заострять сильное внимание, те, кто хоть раз устанавливал что-либо из интернета, справятся и с этим
3. Также рекомендую создать папку AI в корне диска просто для удобства, это не обязательный шаг
Установка Mistral 7B
В этой статье я не буду подробно рассматривать различные модели нейросетей, их версии, преимущества и недостатки. Об этом уже написано много статей. Моя цель — описать процесс установки нейросетей
1. Установка web интерфейса
Прежде чем приступить к установке нейросети, необходимо установить веб-интерфейс, через который можно будет вводить свои запросы. Для Mistral-7B лучше всего использовать text-generation-webui. Чтобы скачать его, перейдите в ранее созданную папку AI. Откройте папку, кликните по ней правой кнопкой мыши и выберите «Открыть в терминале». Затем введите данную команду команду
git clone https://github.com/oobabooga/text-generation-webui
Нажимаем Enter и ждем пока процесс установки завершится
2. Установка зависимостей
Переходим в установленную папку и открываем файл start_windows.bat
Откроется командная строка, и начнут устанавливаться необходимые библиотеки и зависимости, после этого нужно будет выбрать своего производителя видеокарты
Как только все дополнительные зависимости будут установлены, необходимо открыть webUI, кликнув по ссылке в командной строке
3. Установка нейросети
Показываю на примере Mistral-7B, но можно и любую другую модель для текстовой генерации главное чтобы формат модели был .gguf
Переходим в WebUI во вкладку Model
Далее в панели Download вписываем ссылку на файл модели в репозитории, указываем имя и нажимаем кнопку Download
Я указал данную ссылку
https://huggingface.co/TheBloke/Mistral-7B-Instruct-v0.2-GGUF/blob/main/mistral-7b-instruct-v0.2.Q4_K_M.gguf
Когда появится сообщение «Model successfully saved to user_data\models/», в панели Model нажмите кнопку для обновления списка моделей. А в выпадающем меню выберите только что загруженную модель и нажмите кнопку Load
После успешной установки переходите на вкладку «Chat» и пишите свой запрос
На сегодня это всё. Спасибо, что дочитали до конца. В ближайшее время выйдут ещё три части, посвящённые установке нейросетей для других задач. Буду рад, если вы подпишетесь на мой телеграм-канал, посвящённый геймдеву и нейросетям