О чём статья — про ИИ, которые можно запускать прямо на своём компе, без облаков и слежки.
Зачем читать — чтобы не зависеть от OpenAI и понимать, чем заменить ChatGPT, если вдруг всё легло или захотелось полной автономности.
Почему сейчас — локальные нейросети становятся мощнее, а GPT-5 уже не такой «вау» — самое время попробовать альтернативы.
Было плохо: зависимость от интернета и облаков
Ты просыпаешься, открываешь ноут, запускаешь привычный https chatgpt — и ничего. Ошибка, прокси не тянет, OpenAI com лежит, VPN глючит. Нервы. Все идеи, все заметки, все быстрые задачки — через чат жпт. А его нет.
У меня такое случалось раза три. Один раз — прямо в дедлайн. Второй — когда я накатил Linux на рабочую машину и ещё не поставил VPN. Третий — когда ChatGPT просто выдал белый экран и пошёл спать.
Тогда я и подумал: а если бы у меня был локальный ИИ — прям как чатгпт, но не в браузере, а у меня на SSD? Никаких подписок, логинов, вот это всё. Просто запускаешь и пишешь. Да хоть в три ночи.
Пошёл копать. И вот что накопал 👇
Пишу каждый день про новые технологии без лишнего шума. Забирай инсайды первым — в Telegram.
Критерии: что значит «почти как ChatGPT»
Сразу скажу: я не жду от локальной нейросети, чтобы она писала мне курсовую по архетипам в литературе. Но я хочу, чтобы:
- она не тупить на базовые промты,
- знала, что такое JSON и как он выглядит,
- писала код без галлюцинаций в каждой второй строчке,
- не заставляла ждать минуту ответа,
- запускалась на обычном ПК с 16–32 ГБ оперативки.
И — желательно — работала через нормальный интерфейс, а не CLI с флагами длиной в вагон метро.
Короче, нейросеть для задач: написать текст, улучшить формулировку, сгенерировать email, перевести что-то, подкинуть идею. Такой себе ChatGPT бесплатно, но дома, в тапочках.
Поехали по моделям 👇
1. LLaMA 3 8B — лёгкий чемпион
Если не хочется танцев с бубном, ставьте LM Studio (она под Mac, Windows и Linux) — и качайте LLaMA 3 8B. Всё из коробки: слайды, подсказки, история чата.
Моделька удивила. Пишет цепко, не валится на базовых вопросах, держит контекст. Конечно, до GPT-4 ей далековато, но если вы пользовались ChatGPT 3.5 — разница минимальна.
Идёт на 16 ГБ, но лучше 24. У меня на Ryzen 7 7700 + 32 ГБ — летает.
Формат: GGUF (через LM Studio)
Где взять: прямо в LM Studio — по запросу llama3 8b.
Плюс: можно общаться на русском без шаманства.
2. Deepseek Coder 6.7B — для тех, кто пишет код
Если вы гоняете нейросеть как кодогенератор — вот ваш выбор.
Deepseek Coder сделан как альтернатива Copilot. Он действительно пишет код, причём с учётом контекста. Можно спросить: «сделай скрипт на python, который скачивает видео с youtube» — и получите рабочий скелет.
Работает оффлайн, интерфейс — хоть в LM Studio, хоть через Ollama. Сам использую в LM Studio — для текста, для кода.
Формат: GGUF
Где взять: Hugging Face или LM Studio
Фишка: знает языки программирования, но не бесится от псевдокода.
3. Mistral 7B Instruct — быстрая и стабильная
Mistral — это как скорая нейросетная помощь. Быстрая, лёгкая, не ноет и не «галлюцинирует» так яростно, как некоторые. Особенно хороша для коротких ответов, пояснений, упрощения текста, перевода.
Может быть, в генерации длинных текстов она и проигрывает GPT, но на быстрые бытовые задачи — огонь.
Формат: GGUF / Ollama
Где взять: LM Studio, Hugging Face
Плюс: очень экономно расходует ресурсы.
4. Qwen3-8b — китайский сюрприз
Я сначала прошёл мимо. Qwen? Серьёзно? Но потом кто-то в VC написал, что она «ближайшая к GPT-4 по общему IQ» — и я попробовал.
И да: она мощная. Отлично понимает контекст, не залипает на повторениях, неплохо ведёт диалог, даже если запрос витиеватый.
Qwen есть в версиях 1.5, 2.0 и теперь уже 3.0 — но самая стабильная, на мой вкус, 3-8b.
Формат: GGUF
Где взять: LM Studio / Hugging Face
Совет: используйте её для сложных формулировок, анализа, разбора текстов.
Бонус: Gemma 7B — от Google, но на вашей машине
Gemma — это та самая модель от Google, которую сделали в ответ OpenAI. И, честно? Получилось неплохо.
Она хорошо структурирует мысли, не тупит на сложных промтах, спокойно работает на 24–32 ГБ. Для англоязычных задач — вообще шикарно.
На русском, бывает, спотыкается. Но если вы часто миксуете языки или хотите объяснений по dev-инструментам — работает как надо. Тестировать его не буду, это вам так, для большего выбора моделей.
Формат: GGUF / Ollama
Где взять: LM Studio или Ollama
Фишка: гугловская архитектура, но приватно.
Как всё это запускать?
Если не хотите возиться — ставьте LM Studio. Это как Telegram desktop, только для нейросетей. Там есть:
- магазин моделей (Hugging Face подтянут напрямую),
- интерфейс как у chatgpt com,
- промт-инженерия на месте,
- выбор устройств (CPU, GPU, RAM),
- темы, настройки, всё, как надо.
Работает на macOS, Windows и Linux.
А если вы уже юзаете Ollama или Text Generation WebUI — модели выше поддерживаются и там.
Это часть большой рубрики. Продолжение будет жарким — подпишись на телегу, чтобы не проспать.
А как насчёт веса и мощности?
Вот кратко, по ощущениям (и замерам):
Если у вас ноут с 8 ГБ — будет больно. Но если ПК с 32 — можно вообще забыть про облачные нейросети.
Почему это важно именно сейчас
ChatGPT 4 — это красиво. Но у вас может не быть доступа, нет подписки, VPN упал, интернет слег или просто хочется полной автономии — вы не заложник.
Эти модели — реальный рабочий инструмент. Да, не с такой помпой, как опен ай, не с эффектом «вау» после конференции, но:
- они бесплатны,
- работают оффлайн,
- не сливают данные в облако,
- адаптируются под ваши задачи.
А самое главное — вы управляете процессом.
Финал — по-человечески
Короче, штука работает. Уже пользуюсь. Для работы — LLaMA и Qwen. Для всего остального — Mistral или Deepseek. Под настроение — Gemma.
Если пробовал — напиши. Сравним впечатления.
В Telegram почти каждый день — такие же разборы, фишки и утечки. Присоединяйся.