10,6 тыс подписчиков

📝 Предобработка текста для обучения модели классификации

Перед обучением модели классификации необходимо провести предварительную обработку текста, используя следующие методы:

▪Лемматизация / стемминг

▪Приведение слов в нижний регистр

▪Исключение стоп-слов из текста

▪Удаление пунктуации, союзов, предлогов, частиц

▪Очистка текстов от часто встречающихся слов

▪Токенизация

Порядок шагов обязателен. Поясню: если вы предварительно не привели слова в нижний регистр, то "Документ" и "документ" будут в вашем словаре разными токенами. То же самое и для других шагов

Хотите подробный разбор каждого из методов обработки текста? Тогда ставьте свои - 🔥 и уже совсем скоро подробно разберём каждый пункт

▪ Классификация текста с использованием моделей трансформеров

@machinelearning

Классификация текста с использованием моделей трансформеров

telegra.ph

Около минуты

28 февраля 2023

301 читали