Токен (от английского token — «знак», «символ») — это минимальная единица информации, которой оперирует искусственный интеллект. Если упростить, то токен — это «кирпичик», из которого ИИ строит своё понимание текста. Когда вы отправляете запрос нейросети, она не видит текст как мы — словами и предложениями. Вместо этого специальный алгоритм (токенизатор) разбивает ваш текст на токены. Это могут быть: Примерные соотношения: Для наглядности: роман «Война и мир» (около 500 страниц) содержит примерно 1–1,5 миллиона токенов...

Путеводитель для тех, кто не обязан заранее знать, что такое токенизатор, embedding, RAG и контекстное окно Слово «токен» в разговорах про искусственный интеллект встречается постоянно. Сначала вам объясняют, что нейросеть делит текст на токены. Потом говорят, что у модели контекст на сотни тысяч токенов. А ещё через минуту появляется прайс: столько-то долларов за миллион входных и выходных токенов. Легко решить, что это три разных сущности, которым зачем-то дали одно имя. На самом деле здесь всё гораздо аккуратнее...