Почему ChatGPT иногда «забывает» начало разговора или почему за обработку одного и того же документа просят заплатить меньше? Все дело в токенах. Это не просто абстрактные «кусочки слов», а валюта современного мира нейросетей. Именно на них строится экономика LLM, от них зависит скорость ответа. Разберемся в устройстве языковых моделей с самого начала: как текст превращается в цифры, какие уловки используют разработчики для экономии ресурсов и почему китайские модели с окном в 10 млн токенов меняют расклады на рынке...