Тут снова раззадорил один лингвист молодой про лексему, пришлось освежить знания и расширить в международном плане. Но начну с предыстории, первый раз услышал про лексему лет 10-15 назад, когда интернет и всякие форумы заполнили понтюркисты со своими фантазиями, что русские якобы на самом деле тюрки, язык их тюркский, и все слова в русском языке тюркские... Для доказательства чего они применяли довольно примитивный метод, якобы, научный: Брали любое слово русское, выбирали из него несколько букв подряд или вразнобой, неважно из корня, из приставки или суффикса, обращались к словарю одного из тюркских языков и искали такое же или схожее...

Лексема — это последовательность буквенно-цифровых символов в Токене (Token). Лексемы являются ключевыми словами в словарях. Лексема "играть", например, может принимать разные формы, такие как "играл", "игравший". В контексте Машинного обучения (ML) лексемы являются частью входного потока, в котором идентифицируются токены. Лексема является одним из строительных блоков языка. Из лексем состоит лексикон. Лексемы играют важную роль в Обработке естественного языка (NLP). Однако требования к точности здесь повышенные: один случайный или неуместный символ может ухудшить распознавание...