Токен (от английского token — «знак», «символ») — это минимальная единица информации, которой оперирует искусственный интеллект. Если упростить, то токен — это «кирпичик», из которого ИИ строит своё понимание текста. Когда вы отправляете запрос нейросети, она не видит текст как мы — словами и предложениями. Вместо этого специальный алгоритм (токенизатор) разбивает ваш текст на токены. Это могут быть: Примерные соотношения: Для наглядности: роман «Война и мир» (около 500 страниц) содержит примерно 1–1,5 миллиона токенов...

Когда начинаешь считать стоимость ИИ-автоматизации, первым делом почему-то открывают прайс нейросети. Сколько стоит миллион токенов? Сколько запросов будет в месяц? Можно ли вместо дорогой модели взять что-нибудь подешевле? Логика понятная. У API есть цена, её легко увидеть и умножить на предполагаемое количество запросов. Получается аккуратная цифра, которую можно вставить в Excel. А потом автоматизацию запускают в реальный бизнес — и выясняется, что токены были одной из самых маленьких проблем...