Нейросеть пишет код, объясняет квантовую физику и сдаёт сложные экзамены, но может сбиться на вопросе, сколько букв «о» в слове «молоко». Причина не в глупости, а в том, как устроено её «зрение». Фото: Martin Vorel, CC0, StockSnap Человек читает текст по буквам и словам. Языковая модель работает иначе: перед обработкой текст нарезается на токены, то есть фрагменты разной длины. Токеном может быть целое слово, его часть, знак препинания или даже пробел с началом слова. Каждому токену соответствует число, и дальше модель оперирует именно числами...