Локальные LLM‑модели позволяют использовать самые передовые возможности современных AI‑чат-ботов, сохраняя ваши данные только у вас. Правда, не каждый компьютер сможет потянуть любую модель. Хорошая новость — теперь достаточно пары кликов, чтобы узнать, какие ИИ‑модели точно заработают на вашем ПК. Для этого появилась бесплатная и удобная программа с открытым исходным кодом.
DeepSeek на моём MacBook — ожидания превзойдены!
Теперь на моём Mac — свой искусственный интеллект. Это точно не Siri!
Почему стоит запускать локальные LLM‑модели
Ваши данные — только ваши
Популярные чат-боты вроде ChatGPT, Claude или Gemini часто доступны бесплатно, а их платные версии стоят недорого. Зачем тогда вообще запускать LLM на собственном устройстве?
Всё просто: локальные модели дают массу плюсов по сравнению с облачными сервисами, и самое важное из них — это приватность.
Любой ваш текст, документ или фотография, отправленные в облачный бот, уходят на чужие сервера. В зависимости от политики эти данные могут использовать для обучения, а иногда и просматривать сотрудники компании.
Поэтому стоит быть особенно осторожным, если вы загружаете в облако важную или личную информацию. Если же ИИ работает прямо на вашем компьютере — данные никуда не отправляются, и никто кроме вас их не увидит.
Для ИИ-чатов больше не нужен мощный компьютер
Даже обычный ПК справится с маленькими моделями
Если вы ещё не пробовали запускать LLM‑чат-боты у себя, наверняка думаете: мой ПК с этим не справится. Я тоже был уверен, что нужен только компьютер с мощной видеокартой и кучей памяти.
Но всё оказалось гораздо проще. Сегодня достойные модели запускаются даже на вполне обычных ноутбуках и стационарниках. У меня, например, MacBook Air с чипом M2 и всего 8 ГБ оперативки. Это далеко не топ — но справляется удивительно хорошо. Я с его помощью подытоживаю главы книг, автоматически удаляю личные данные из выписок банка и даже анализирую изображения.
Конечно, работать облачные сервисы вроде ChatGPT могут быстрее, но лично для меня важнее, что все данные остаются только на моём ноутбуке.
MacBook Pro (M5)
В 2025 году вышел MacBook на чипе M5 — всё, за что мы любим Apple, плюс бешеная мощность.
Как выбрать идеальную LLM‑модель для своего ПК
Заставьте свой компьютер работать на полную
Когда я впервые решил попробовать локальный ИИ на MacBook Air, не знал, с какой модели начать: хотел максимум возможностей, чтобы ПК не тормозил — но приходилось угадывать.
Сейчас всё гораздо проще. Есть утилиты, которые анализируют ваш компьютер и подсказывают, какие LLM‑модели подойдут именно вашему железу: сразу видно, что потянет ПК, а что — нет. Так гораздо проще выбрать лучший вариант и сразу начать работу.
Я сам пользуюсь бесплатным инструментом с открытым исходным кодом — llmfit. Его легко поставить через Homebrew на macOS или Linux: brew install llmfit, а для Windows нужен Scoop: scoop install llmfit. После установки просто напишите llmfit в терминале.
В верхней части экрана llmfit показывает характеристики вашего железа, а ниже — список моделей с подробностями, насколько они подходят. Можно нажать F и выбрать: показывать все доступные модели, только те, которые точно уместятся в видеопамяти, либо самые оптимальные или те, что чуть-чуть «на грани».
Чтобы найти нужную модель, нажмите / и введите название. Для сортировки жмите S — по умолчанию идут модели с лучшим общим баллом: оценивается качество, скорость, совместимость и размер контекста.
Подпишитесь на наши советы по работе с локальными LLM‑моделями
Клавиша Shift+U включает фильтр по типу задачи: универсальные, кодинг, логика, общение, мультимодальные или встраивание. А если ваш ПК не справится — llmfit подскажет, какое «железо» потребуется для конкретной модели: просто нажмите P.
Локальные ИИ‑модели становятся всё мощнее
Ваш ноутбук способен на большее, чем вы думали!
Локальные LLM‑модели с каждым месяцем становятся лучше и умнее. Фактически, единственное их ограничение — мощность вашего компьютера. С помощью llmfit вы сможете подобрать максимально мощный ИИ именно под свой ПК и без риска для вашей конфиденциальности по-настоящему раскрыть весь потенциал локального ИИ.
Я сам посоветовал llmfit своим друзьям с MacBook Air M2 — оказалось, даже на относительно старом ноутбуке можно запускать куда более продвинутые модели, чем ожидалось. Теперь не нужно переживать за безопасность личных файлов: все данные остаются у вас, а выбирать можно из лучших моделей, которые действительно потянет ваш компьютер.
Ваш старый ПК может гораздо больше, чем кажется
Если вы уже используете локальные LLM — llmfit поможет найти ещё более мощные и интересные модели. Если нет, это отличный способ подобрать стартовый вариант для себя. Скорее всего, вы удивитесь, сколько всего способен ваш компьютер прямо сейчас!
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Премиум подписка - это доступ к эксклюзивным материалам, чтение канала без рекламы, возможность предлагать темы для статей и даже заказывать индивидуальные обзоры/исследования по своим запросам!Подробнее о том, какие преимущества вы получите с премиум подпиской, можно узнать здесь
Также подписывайтесь на нас в:
- Telegram: https://t.me/gergenshin
- Youtube: https://www.youtube.com/@gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru