💻🤖💻
Эта статья для тех, кто ни разу не устанавливал ИИ на свой компьютер/ноутбук, но очень хочет попробовать. 😉
❗ Кстати, если вы думаете, будто для установки локальных моделей ИИ нужны супер мощности, то вы ошибаетесь. Сегодня существуют локальные модели, которые вытянет даже относительно слабое железо.
🤔 Как выбрать модель
При выборе модели ориентируйтесь на задачи, для решения которых вы планируете использовать модель и на характеристики своего железа — чем оно новее и мощнее, тем более тяжёлую модель можно установить... Я Капитан Очевидность 😅
Крайне важным параметром является VRAM (память графического процессора). Идеально, если VRAM не менее 16 ГБ. Но и на 4 ГБ можно найти модели, которые будут реально работать.
❗ Не рекомендую ставить тяжёлую модель при 4 ГБ VRAM, так как придётся почти полностью скидывать модель на CPU/RAM. В итоге скорость упадёт до 2–8 токенов/сек, ноут будет греться и шуметь.
Чтобы узнать характеристики своего железа: заходим в меню Пуск → Параметры (система) → Система → О системе
👍 Лучшие модели для слабого железа
Лучший выбор при слабом железе, это Phi-4-mini-instruct (3.8B).
◾ Она занимает мало памяти (около 2,5–3 ГБ в хорошей квантизации).
◾ Хорошо справляется с чатом, размышлением и простым кодингом (Python-скрипты, исправление ошибок, объяснение кода).
◾ На ноутах с 4 ГБ GPU даёт комфортную скорость 15–35+ токенов/сек при правильном распределении.
◾ Отлично работает в LM Studio.
Альтернативный вариант — Qwen3-4B-Instruct. У неё хороший русский язык и чуть сильнее кодинг. И она тоже отлично влезает в 4 ГБ GPU.
💻 Инструкция по запуску локального ИИ
Шаг 1. Устанавливаем LM Studio
Скачайте LM Studio по этой ссылке https://lmstudio.ai/ Установите её.
После установки программа предложит вам загрузить модель. Не загружаем, жмём "Пока пропустить" (Skip for now).
В настройках программы можно сменить язык на русский (но перевод будет частичным), а также, по желанию, изменить цветовую тему, настроить шрифты, блок рассуждений и другое.
Шаг 2. Скачиваем модель
В LM Studio во вкладке Model Search введите в строку поиска название нужной модели, например Qwen3-4B-GGUF MaziyarPanahi или Phi-4-mini-instruct-GGUF lmstudio-community (подойдёт для слабого железа).
Можете выбрать любую другую модель в зависимости от ваших задач и возможностей железа.
При нажатии на модель в списке, LM Studio сама подскажет возможна ли выгрузка на GPU (это значительно ускорит инференс) и подойдёт ли модель в принципе для вашей машины. Также программа сама определяет оптимальный уровень квантизации под ваше железо.
Если хотите самостоятельно выбрать уровень квантизации в опциях загрузки (Download Options) — нажмите на область указанную красной стрелкой на втором скрине снизу.
Самый оптимальный вариант квантизации, подходящий для большинства задач — Q4_K_M. При ограниченных ресурсах советую выбирать именно его.
Скачайте модель по кнопке Download.
Шаг 3. Запускаем модель
После скачивания перейдите во вкладку Chat и выберите модель, которую вы только что скачали. Нажмите "Загрузить модель". После этого чат должен заработать.
❗ Если выдаёт ошибку типа этой 👇
Сделайте следующее:
◾ В настройках загрузки модели уменьшите количество слоёв на GPU. Вместо 36 поставьте 20–24 слоя (начните с 22). Остальные слои уйдут на CPU + RAM (если у вас 16 ГБ RAM, то вам хватит).
◾ Уменьшите длину контекста (Context Size) до 4096 или 8192.
◾ Нажмите "Загрузить модель" ещё раз.
Часто это сразу решает проблему.
💙💙💙💙💙💙💙💙💙💙💙💙💙
Спасибо за внимание! Напишите в комментах, получилось ли у вас поставить ИИшку на свой комп или ноут. 🤗