Для запуска нейросетей я пользуюсь LM Studio — это графическая оболочка над нейросетями с поддержкой API

Для запуска нейросетей я пользуюсь LM Studio — это графическая оболочка над нейросетями с поддержкой API.

Попытался запустить без графической оболочки Linux (без X11). Не получилось. Спросил, как можно подключиться без графики: варианты — Ollama, WebUI, llama.cpp. Пошёл собирать Core 2 Duo для эксперимента... Хотя там нет современного AVX...

Долго возился с проблемой: несколько квартир проходят фильтр на существование, но при импорте снова попадают в базу данных.

Определил, что проблема в поле типа bool.

Установил Ollama.

Начал ставить LLM-модели, и кончилось место. Ollama устанавливает модели в /usr, а у меня на этом разделе мало места. Пришлось перенести на HDD.

Тестировал разные модели:

aya-23-8b-f16 — очень тормозит. 8 минут на ответ «Почему небо голубое?». (Позже понял, что процессор был занят. Со свободным CPU ответил за 1,5 минуты.)

deepseek-r1:7b — вырубает компьютер.

Далее модели, которые DeepSeek посоветовал для GTX 1080:

Mistral 7B — 5 секунд.

Phi — 0 секунд. Ничего не выдала.

DeepSeek также посоветовал для русского языка варианты Saiga-Mistral:

Ollama падает при использовании antony66/saiga_mistral_7b_128k.

cyberlis/saiga-mistral — не загружается.

sutyrin/saiga_mistral_7b — работает, но иногда вырубает комп.

Рерайт у этих моделей оказался очень слабым.

llama4:scout — почти 70 ГБ. Результат:

Error: model requires more system memory (60.0 GiB) than is available (52.1 GiB).

Выгрузил всё, кроме X11. Процесс съел всю память и своп. Компьютер завис. А я-то думал, что 64 ГБ ОЗУ мне хватит надолго...

Вспомнил, что у Яндекса тоже есть открытые модели:

yandex/YandexGPT-5-Lite-8B-instruct-GGUF — работает в интерактивном режиме, но через API отказывается.

denisavetisyan/yandexgpt5_8b_lite_q8_0 — тоже только интерактивно. Прикол: написал ему «Привет!», а он выдал:

«Давай попробуем вместе разобраться с твоей задачей. Задача звучит так: "Найдите площадь трапеции..."»

O.o

enisavetisyan/saiga_yandexgpt_8b_gguf_q5_k_m — тоже не работает через API.

Gemma3 — быстрая, занимает мало места, работает реактивно (и комп не вырубает).

(Только написал это — при следующем запуске комп вырубился.)

Обратил внимание на её рерайт. Пример:

«Ближайший выезд на Канализационно-автомобильный диаметр (КАД)»

Добавил в промпт расшифровку сокращений...

Много фантазирует. Например, пишет, что в доме «одна квартира на этаже».

Qwen3 — вырубает компьютер.

Глянул в код и вспомнил песню... Понял, почему некоторые модели не хотели отвечать через API (см. выше). Ну и ладно! Всё-таки нашёл то, что хотел.

Сильно расстраивает, что модели качаются долго (на 100 Мбит/с), запускаются минуту, а удаляются за секунду.