32 подписчика
Демонстрация на сколько больше токенов нужно для обработки текста на русском языке, по сравнению с текстом на английском, при работе нейросети, которая изначально обучалась на английском материале.
Количество символов 1776 — это случайно совпало с годом независимости США, ещё в этот год издана книга Адама Смита "Исследование о природе и причинах богатства народов"
Использованы статьи о товарище Ленине на русском и английском языке в Википедии и токенизатор от OpenAI (из России без прокси может не пустить) htplatform.openai.com/...zer
Около минуты
19 июля 2023