Лексема — это последовательность буквенно-цифровых символов в Токене (Token). Лексемы являются ключевыми словами в словарях. Лексема "играть", например, может принимать разные формы, такие как "играл", "игравший". В контексте Машинного обучения (ML) лексемы являются частью входного потока, в котором идентифицируются токены. Лексема является одним из строительных блоков языка. Из лексем состоит лексикон. Лексемы играют важную роль в Обработке естественного языка (NLP). Однако требования к точности здесь повышенные: один случайный или неуместный символ может ухудшить распознавание...
Морфологические процессы могут быть разделены на две категории: словоизменение и словообразование. Сегодня мы познакомимся с первым из них. Говоря о словоизменении невозможно не упомянуть о флексиях. Флексии (в школе вы их изучали под кодовым названием "окончания") – это как маленькие хвостики, которые мы добавляем к словам, чтобы изменить их грамматическое значение. Самые известные способы изменения грамматического значения - склонение и спряжение. Например, слово «кот» с хвостиком -ов превращается в «котов»...