Представьте фастфуд-ресторан. На кухне работает конвейер: на входе повар принимает заказы, а на выходе выдает готовые бургеры. Каждый заказ проходит через цепочку станков — один режет овощи, другой жарит котлеты, третий складывает все в булочку. Примерно так же работает и большая языковая модель. Только вместо заказов она получает ваш текст, а вместо бургеров выдает ответ. И вот здесь появляется ключевой вопрос: а что именно «ест» эта кухня? Что является единицей заказа? Ответ — токен. Токен — это не слово и не буква...