Python является популярным языком для написания чат ботов, голосовых помощников, поисковых систем и др программ. Natural language processing (NLP) обработка естественного языка. Эта область знаний находящаяся на стыке науки о данных и сфере искусственного интеллект. Главная задача NLP обучить компьютеры понимать человеческие языки и извлекать смысл из текста. Python содержит обширный набор библиотека для анализа естественного языка. В предыдущих статье "Библиотеки Python для анализа естественного языка", мы рассмотрели популярные библиотеки для анализа естественного языка. В данной статье мы рассмотрим библиотеку TextBlob и научимся анализировать эмоциональные окраски текста.
TextBlob это библиотека Python для обработки текстовых данных. Библиотека предоставляет простой API для выполнения задач обработки естественного языка (NLP), таких как маркировка частей речи, извлечение именной фразы, анализ тональности, классификация, перевод и многое другое.
Поддерживаемые функции:
- Извлечение словосочетания существительного.
- Маркировка по частям речи.
- Анализ настроений.
- Классификация (Наивный Байес, Дерево решений).
- Токенизация (разделение текста на слова и предложения).
- Частота слов и фраз.
- Словоизменение (множественное и единственное число) и лемматизация.
- Орфографическая коррекция.
Документация доступна по ссылке.
Алгоритмы анализа настроений в основном сосредоточены на определении мнений, отношений в тексте. Диапазон обнаруживаемых настроений варьируется от одного метода к другому. Стандартный анализатор определяет до трех основных полярных эмоций (положительную, отрицательную, нейтральную), возможности более продвинутых моделей шире, они могут определять шесть «универсальных» эмоций: гнев, отвращение, страх, счастье, печаль и удивление.
Как работает анализ тональности
- Получаем текст.
- Разбиваем его на несколько частей или коротких предложений, в зависимости от длины. Этот процесс называется токенизация.
- При работе со словами, мы можем посчитать, сколько раз встречается то или иное слово.
- В итоге, определяется значение тональности (“настроения”) каждого слова, а после этого общее значение тональности всего текста.
Подход, который предлагает модуль TextBlob применяет к анализу тональности, отличается тем, что он основан на правилах и поэтому требует заранее определенного набора категоризированных слов. Эти слова можно, например, загрузить из базы данных NLTK. Более того, тональность определяется на основе семантических отношений и частоты каждого слова во входном предложении, что позволяет получить в результате более точный результат.
Ожидаемый результат анализа значения polarity и subjectivity. Polarity определят, насколько эмоциональная окраска текста позитивна или негативна (от -1 до 1), а subjectivity измеряет насколько в тексте выражено личное мнение автора.
Также возможно получить результаты полярности или субъективности по отдельности, использовав методы polarity и subjectivity соответственно.
Тональности важный аспект теории анализа данных. В этой статье мы рассмотрели библиотеку TextBlob и методы анализа тональности текста.
С уважением, Карян Армен.
Занимаюсь профессиональной разработкой прикладных программ на Python.
email SoftSAR@yandex.ru
Telegram @SoftSar_am