5 подписчиков
LLM-роутеры: зарубежные модели без VPN и приседаний
Я в основном для своих задач пользовался SourceCraft Assistant, и мне хватало. Когда упирался в лимиты, переходил на модели, которые доступны в Yandex Cloud, но тарификация по токенам больно била по кошельку. Ещё есть Алиса Pro в режиме чата (стараюсь поддержать отечественные решения), но удобнее, когда всё в одном пространстве - в качестве агента использую OpenCode, мне понравилось в нём работать. Плюс SourceCraft Assistant использует его в своём решении.
Но стал чаще наталкиваться на мысль, что из информационного поля упускаю модели зарубежных крупных игроков. Не хотелось использовать VPN для доступа к моделям и делать приседания с оплатой - особенно если хочешь посмотреть решения от различных провайдеров.
Решением оказались LLM-роутеры: агрегируют в себе несколько моделей от различных компаний и предоставляют к ним доступ, по сути, по OpenAI API с понятной тарификацией. Зарегистрировался, закинул на счёт - и пользуйся. Для меня это оказалось очень удобным решением.
Но столкнулся с тем, что на рынке подобных сервисов развелось очень много, и явного лидера нет - мне было трудно выбрать. Не хотелось регистрироваться на одном, потом на втором. И тут на глаза попалась (далее не реклама) страница Selectel ИИ-роутер. Я сначала удивился: у меня уже там была учётная запись, поэтому сразу решил попробовать.
Меня встретил простой интерфейс и понятная документация. Создаёшь роутер, создаёшь токен доступа. Как на роутер, так и на токен можно выставить лимиты по потреблению в рублях - это важно, иначе можно уйти в минус.
Есть вкладка с перечнем моделей (на дату публикации их уже 397), описанием и стоимостью. По API можно запросить перечень моделей со стоимостью, закинуть его в LLM и попросить подобрать оптимальную модель под задачу и бюджет.
Так как всё совместимо с OpenAI API, это просто настраивается в OpenCode: подключил, потестировал - работает. `DeepSeek V4.1 Flash` оказался дешевле, чем в Яндексе.
Для интереса прошёлся по другим провайдерам, где у меня были учётные записи. И у хостинг-провайдера Jino тоже нашёлся AI gateway. Всё практически так же: создаёшь токен, настраиваешь OpenCode - и готово. Лимиты тут на токен доступа не в рублях, а в токенах. Можно выставить срок жизни токена, чего нет у Selectel.
Для сравнения стоимости взял модель, которую предоставляют указанные провайдеры.
`DeepSeek V4 Flash` (за 1 млн токенов):
- Selectel (ревизия r 0423): Input - 9,50 ₽, Output - 19,00 ₽
- Jino: Input - 18,90 ₽, Output - 37,80 ₽
- Yandex Cloud: Input - 300 ₽, Output - 500 ₽
Я не берусь говорить, кто лучше, а кто хуже - под каждую задачу свой инструмент. Но для моих повседневных задач бюджет оказался важнее других показателей.
Если кто-то уже пробовал другие LLM-роутеры, поделитесь своим мнением.
2 минуты
29 сентября