💸 Про экономику open-source и локальный хостинг.
Вчера я смотрел цифры OpenRouter. Половину трафика там съедают Llama, Mixtral и другие открытые веса. Сейчас предлагаю достать калькулятор и посчитать деньги.
Получить доступ к этим моделям я могу двумя путями:
1️⃣ Через западные агрегаторы (плачу валютой).
2️⃣ Через местных провайдеров типа Яндекса (плачу рублями).
На старте второй вариант манит удобством - API готово, бухгалтерия счастлива прозрачным счетам. Но стоит открыть эксель, и радость исчезает.
Арифметика жадности
Возьму одну популярную модель (пусть будет Llama-3-70b).
Цена входных токенов (Input):
🇷🇺 РФ: 0.5 руб за 1000 токенов.
🌍 Мир: 0.023 руб за ту же тысячу.
Разрыв - в 22 раза.
Причина простая. Глобальные игроки роняют цены в пол, они воюют за каждого разработчика. У нас рынок крошечный, конкурентов ноль. Яндекс ставит ценник, который покроет железо и зарплаты прямо сегодня. Просто бизнес.
Кто вообще это покупает
Списывать местные облака со счетов я не стану, но применять их советую с умом. Платить Х22 имеет смысл только в трёх случаях:
🔹 Закон 152-ФЗ и корпоративная тайна. Данные должны лежать строго внутри страны. Тут без вариантов.
🔹 Госконтракты. Зарубежный API проверку безопасников не пройдёт.
🔹 Бухгалтерия. Финотдел падает в обморок от слова "крипта" или не может оплатить иностранный инвойс.
Мой план действий
Сейчас мы запускаем проект в сложной, зарегулированной нише.
Действуем так:
▪️ На старте (MVP) берём API Яндекса. Быстро, юристы спокойны, промпты настроить легко.
▪️ Пойдёт нагрузка - переедем на свой сервер. Поднимем модель сами через vLLM или TGI.
Потому что с наценкой х22 своё железо отобьёт затраты неприлично быстро.
Итого
Если вы пилите пет-проект или стартап и вам плевать на гео-данные - найдите способ оплатить зарубежный сервис. "Налог на лень" в 2200% пробивает слишком большую дыру в бюджете.
