Путеводитель для тех, кто не обязан заранее знать, что такое токенизатор, embedding, RAG и контекстное окно Слово «токен» в разговорах про искусственный интеллект встречается постоянно. Сначала вам объясняют, что нейросеть делит текст на токены. Потом говорят, что у модели контекст на сотни тысяч токенов. А ещё через минуту появляется прайс: столько-то долларов за миллион входных и выходных токенов. Легко решить, что это три разных сущности, которым зачем-то дали одно имя. На самом деле здесь всё гораздо аккуратнее...

Те кто хотя бы немного интересуются миром криптовалюты и блокчейн-технологий, точно слышали слово «токен». Что это такое, как работает, и чем токен отличается от обычной криптовалюты, читайте в этой статье. В чем разница между токенами и криптовалютой? Если объяснять простыми словами, то токен — это цифровой сертификат, который гарантирует обязательства компании перед его владельцем. А если ещё проще, то это как акции на фондовой бирже, только в мире криптовалют. А если ещё проще-проще, то вы покупаете что-то, что делает вас частью какого-либо бизнеса или проекта...