Всем привет, на связи Енотик 🦝 Сегодня хочу с Вами поделиться полезным инструментом, о котором узнал буквально несколько часов назад. Это программка для локального развертывания нейросетевых моделей🤖. Возможно кому-то пригодиться и будет полезным🙂. Эта статья не в коем случае не реклама!
🌊вВодная часть
Сегодня наткнулся на занимательный пост о LM Studio в сети о локальном развертывании нейросети и решился попробовать на своем железе. Запуск таких моделей как Llama или DeepSeek на домашнем ПК стал доступным благодаря особой технологии сжатия. Благодаря которой удалось значительно снизить системные требования и почти без потери качества. Об этом лично объявил СЕО компании Сундар Пичаи.
❔Что для этого потребуется?
Переходим на сайт LM Studio, 🔗ссылка ниже и скачиваем себе на ПК программу.
Я всё буду проделывать на Windows, но в скором времени опробую данную штуку и в других ОС. После загрузки установщика делаем всё как и обычно при установке программ в Windows.
📌Обратите внимание на требование к свободному месту на диске - порядка 1,5 Гб для программы LM Studio и еще 5-7 Гб для самой модели, но об этом чуть дальше.
После установки и запуска программы нас встретить её интерфейс, который сразу предложит загрузить свою первую нейросетевую модель.
Мне было предложено выбрать модель DeepSeek на 7 миллиардов параметров. Вполне себе не плохой вариант и всего 4.7 Гб. Не долго думая, я нажал на кнопку Download и начался процесс загрузки.
После загрузки модели будет предложено начать с ней общение (кнопка Start New Chat).
💬Запуск чата
📌Небольшое отступление
Перед тестами модели, перейдите в настройки программы во вкладку "Runtime" и убедитесь что у вас установлены последние версии необходимых для работы нейросети библиотек.
Продолжаем 🦝 После нажатия на эту кнопку, откроется окно чата. Здесь нужно будет в верхней части окна выбрать ранее загруженную модель.
После выбора модели, она начнет загружаться в память. В нижнем правом углу программы можно увидеть сколько ресурсов в данный момент потребляет модель нейросети.
Ну вот по сути и всё, модель запущена. Приступаем к тестированию. Первым делом я конечно же поздоровался, ведь я же воспитанный енотик 😏. Нейросеть ответила взаимно и я решил задать весьма простой вопрос про столицу России. С этим вопрос модель справилась хорошо, хоть и не с первого раза 😀
❔Что дальше...
Дальше можно попробовать "поиграться" с моделью, позадавать разные вопросы или попросить решить какие-нибудь задачи. Или же попробовать скачать другие модели. Это можно сделать перейдя в настройки программы и выбрав вкладку "Model Search".
Для выполнения каких-то серьезных задач, я рекомендую скачивать мощную модель, у которой много параметров - качество ответов будет значительно выше. Но, также не стоит забывать, что мощные модели, требуют мощного железа. Учитывайте этот факт при подборе модели 😊. В скором времени опробую локальные модели на реальных задачах и поделюсь опытом. Также расскажу о ролях для моделей, о промтах и многом другом 🦝
💭Немного мыслей
Очень радует такое развитие всех этих технологий, особенно касаемо технологий сжатия и нейросетей. В скором времени как по мне наличие нейросетевых моделей на локальных устройствах станет нормой. И каждый владелец, будь то ПК или смартфон будет иметь собственного нейросетевого помощника. Ну и самое главное:
Нейросеть - это инструмент, а не панацея
Конечно такое повальное и бурное развитие искусственного интеллекта делает сюжет игры Detroit: Become Human не таким уж и фантастичным 😀