Для понимания смысла обработки текста необходимо понимание термина NLP — Natural language processing, который переводится как «Обработка естественного языка».
С развитием голосовых интерфейсов и чат-ботов, NLP стала одной из самых важных технологий искусственного интеллекта.
Но полное понимание и воспроизведение смысла языка — чрезвычайно сложная задача, так как человеческий язык имеет особенности:
— Человеческий язык — специально сконструированная система передачи смысла сказанного или написанного. Это не просто экзогенный сигнал, а осознанная передача информации. Кроме того, язык кодируется так, что даже маленькие дети могут быстро выучить его.
— Человеческий язык — дискретная, символьная или категориальная сигнальная система, обладающая надежностью.
— Категориальные символы языка кодируются как сигналы для общения по нескольким каналам: звук, жесты, письмо, изображения и так далее. При этом язык способен выражаться любым способом.
Таким образом, задача искусственного интеллекта — правильное распознавание и декодирование любого из этих способов.
Современные приложения, использующие системы искусственного интеллекта NLP применяются для следующих задач:
— поиск (письменный или устный);
— показ подходящей онлайн рекламы;
— автоматический (или при содействии) перевод;
— анализ настроений для задач маркетинга;
— распознавание речи и чат-боты,
— голосовые помощники (автоматизированная помощь покупателю, заказ товаров и услуг).
Существенная часть технологий NLP работает благодаря глубокому обучению (deep learning). В глубоком обучении алгоритм пытается автоматически извлечь лучшие признаки или представления из сырых входных данных.
Реализация алгоритмов глубокого обучения стала возможной только в начале этого десятилетия благодаря следующим предпосылкам:
— Накоплены большие объемы тренировочных данных;
— Разработаны вычислительные мощности: многоядерные CPU и GPU;
— Созданы новые модели и алгоритмы с расширенными возможностями и улучшенной производительностью, гибким обучением на промежуточных представлениях;
— Появились обучающие методы с использованием контекста, новые методы регуляризации и оптимизации.
В качестве примера рассмотрим систему краткого изложения текста (Text Summarization).
Система предназначена для автоматического извлечения краткого содержания — резюме (дайджеста) из большого объема текста. Сначала считается частота появления слова во полном текстовом документе, затем 100 наиболее частых слов сохраняются и сортируются. После этого каждое предложение оценивается по количеству часто употребимых слов, причем вес больше у более часто встречающегося слова. Наконец, первые Х предложений сортируются с учетом положения в оригинальном тексте.
Выделяют два фундаментальных подхода к сокращению текста: извлекательный и абстрактный. Первый извлекает слова и фразы из оригинального текста для создания резюме. Последний изучает внутреннее языковое представление, чтобы создать человекоподобное изложение, перефразируя оригинальный текст.
Примеры систем больших компаний в области NLP:
— Facebook Neural Attention — нейросетевая архитектура, которая использует локальную модель с механизмом внимания, способную генерировать каждое слово резюме в зависимости от входного предложения.
— Google Sequence-to-sequence придерживается кодер-декодер архитектуры. Кодер отвечает за чтение исходного документа и кодировку во внутреннее представление. Декодер отвечает за генерацию каждого слова в сводке на выходе и использует кодированное представление исходного документа.
— IBM Watson использует похожую Sequence-to-sequence модель, но со свойствами внимательной и двунаправленной рекуррентной нейросети.
Источник: https://neurohive.io/ru/osnovy-data-science/5-metodov-v-nlp-kotorye-izmenjat-obshhenie-v-budushhem/