Главное отличие платных API от open-source моделей в том, что последние мы разворачиваем сами — на своих серверах и с последующим обслуживанием. И это важно понимать с самого начала.
Open-source модели бывают разного размера и уровня «мощности». Например, модель Gemma3:12B спокойно работает на одной видеокарте с 12 GB памяти, что совсем бюджетно. Она отлично справляется с текстами, но плохо пишет код и не умеет работать как агент.
Если же нам нужен генератор кода, придётся брать что-то вроде Deepseek-v3.1, и тут уже понадобятся 8 GPU H100. Это на несколько порядков дороже.
Примерно так: сервер для работы с текстом — фиксированные ~$300 в месяц. А для генерации кода — легко может вырасти до $30 000 в месяц. И это для одного потока: нейросеть обрабатывает запросы по очереди. Если хотим запустить, скажем, пять параллельных потоков — расходы сразу удваиваются или утраиваются.
Ещё нюанс — обслуживание. Иногда модели начинают «думать» слишком долго или уходят в бесконечные циклы. В такие моменты сервер становится недоступен. Поддержка локальных моделей требует контроля и опыта, нюансов много.
Плюсы своего сервера:
- Фиксированные, прогнозируемые расходы — ты точно знаешь, сколько тратится на мощности.
- Локальное хранение данных — твои персональные или корпоративные данные остаются под контролем.
У платных API это же главные минусы: постоянно разные счета за токены, расходы могут резко прыгать, а конфиденциальные данные могут стать публичными (в этом году было несколько случаев, когда переписки с нейросетями стали доступны в публичном доступе).
Как выбирать модель и формат работы?
1. Сначала оцениваем сложность задачи и какой LLM нужен. Для краткого пересказа статьи из газеты не нужен «топовый» суперкомпьютер — с этим справится лёгкая LLM.
2. Стартуем на платном API и считаем месячные расходы.
3. Потом считаем, сколько будет стоить развернуть аналогичное решение у себя.
4. Когда расходы на API приблизятся к стоимости своего сервера — пора переходить на open-source.
После перехода компании обычно получают сервер с запасом мощности на 3–4× кратный рост нагрузки — именно здесь и проявляется реальная экономия.