60 подписчиков
Сколько стоит запрос к ChatGPT для бота?
Пользователи часто спрашивают: "Сколько в среднем стоит запрос к нейросети ChatGPT?"
Отвечаю: OpenAI берет деньги не за запрос, а за токены. Токены — это части слова и знаки препинания. Для русского языка в среднем токенов в 2 раза больше, чем слов.
OpenAI берет деньги как за входные токены (сам запрос), так и за выходные токены (ответ). Следует помнить, что под запросом понимается не только ваш вопрос, но и всё, что подается в нейросеть. Помимо вашего вопроса, в нейросеть обычно передаются системная роль, несколько предыдущих вопросов и ответов, а также другие инструкции.
Стоимость токенов для разных нейросетей разная. Самая дешёвая — GPT-4o-mini — стоит 15 центов за 1 млн входящих токенов и 60 центов за 1 миллион исходящих токенов. Новейшая нейросеть GPT-o1 стоит в 100 раз дороже — 15 и 60 долларов за вход и выход соответственно. Чем сложнее роль, чем длиннее история диалога и чем дороже нейросеть, тем выше стоимость запроса.
PS Нейросеть не умеет работать ни со словами ни с токенами, она понимает только цифры. Когда вы пишете Нейрокоту: "Привет Котик! Как дела?" то на вход нейросети подается такая последовательность: "[54745, 28089, 8341, 36479, 13337, 38822, 0, 36479, 16248, 95369, 1506, 30]"
1 минута
8 октября 2024