Часто бывает российским проектам необходимо использовать зарубежные LLM в своих проектах. И чтобы их использовать, обычно создаются прокси сервера личные и зарубежные аккаунты с оплатой иностранными картами.
Такой вариант подойдёт, если вы максимально хотите сократить возможности утечки персональных данных. Для максимальной сохранности подобных данных обычно запускают LLM на своих серверах.
Но если для Вас это не супер критично и данные не супер конфиденциальные, а обычные диалоги, то я бы рассматривал использование сервисов прокси. Хотя все сервисы утверждают, что данные и логи никакие не собирают.
Сегодня рассмотрим один из самых демократичных сервисов прокси — AITunnel.
На сайте думаю сами сможете ознакомиться со всем списком моделей, которые можно использовать. Покажу просто примеры использования.
Создание API-ключа
Просто откройте личный кабинет, пополните баланс и на вкладке "Управление ключами" создайте API-ключ.
ChatGPT
Как видим использовать можно существующую библиотеку OpenAI, указав только base_url и название модели.
Gemini
LLama
Как видим, использование очень простое. Не требуется VPN и для оплаты нужна российская карта, а не зарубежная.
Если у вас не планируется большая нагрузка, то вполне можно пользоваться прокси. Работает быстро. Ну либо можете пользоваться всегда, если не хотите заморачиваться с оплатой зарубежного сервиса)
#python #ai #gpt #gemini #llama