Лексема — это последовательность буквенно-цифровых символов в Токене (Token). Лексемы являются ключевыми словами в словарях. Лексема "играть", например, может принимать разные формы, такие как "играл", "игравший".
В контексте Машинного обучения (ML) лексемы являются частью входного потока, в котором идентифицируются токены. Лексема является одним из строительных блоков языка. Из лексем состоит лексикон.
Лексемы играют важную роль в Обработке естественного языка (NLP). Однако требования к точности здесь повышенные: один случайный или неуместный символ может ухудшить распознавание. Во время компиляции программы лексический анализ — это попытка компьютера разобраться в строках символов во входном потоке.
Каждая лексема анализируется на предмет ее полезности. Определенные шаблоны буквенно-цифровых строк составляют то, что компьютер распознает как токены. Эти токены могут быть идентификаторами, ключевыми словами, операторами, специальными символами или константами. Например, компьютер видит знак "*" (asterisk) как знак умножения и "2" как число.
Правильный синтаксис необходим для хорошего программирования. В то время как в человеческой речи можно обойтись сленгом, плохой грамматикой или неправильным произношением, компьютерный язык, как правило, более требователен.
Автор оригинальной статьи: techopedia.com