Natural language processing или обработка текстов на естественном языке (не путать с псевдонаучным нейролингвистическим программированием), то, что окружает нас повсюду, речь не только про чат-ботов и голосовых помощников, но и про ассистентов, поисковые системы и обработку данных.
Так почему машины нас плохо понимают?
Если коротко, они еще учатся.
Расстояние между человеком и техникой уменьшается, но перевод с цифрового машинного языка на человеческий - процесс не быстрый. В конце концов, мы с вами практикуемся в языках 2 миллиона лет, а машины порядка 30.
Язык не статичен. Наша речь, как письменная, так и устная постоянно и стихийно меняется, это не только система правил и грамматика, важны жесты, эмоции, культурный и бытовой контекст, метафоры и игра слов, юмор и ирония. Основная задачи NLP - научиться понимать все уровни естественной речи и письменности.
1. Виновата Вавилонская башня
Сейчас на Земле насчитывается 7151 язык. И не все языки четко структурированы, (как, к примеру, английский). А важно и количество данных на каждом из них, необходимых для машинного обучения: словари, статьи, книги. Всего 20 языков из 7151 подготовлены для работы с нейросетью. У нас просто нет ресурсов для обработки многих африканских, азиатских, а также вымирающих и малочисленных языков и диалектов.
2. В поисках смысла
Многозначность и тональность языка усложняют задачу. Одно слово может приобретать десятки значений и их оттенков. К примеру, слово - коса, может значить и прическу, и садовый инструмент, и каменную гряду, поди разберись, что там человек имел в виду. За извлечение смысла в предложениях отвечает семантика, но переменных в семантическом анализе очень много.
3. Эмоции штука тонкая
Проблема определения эмоций и тональности, актуальна и для многих людей, что уж говорить о нейросети. Ирония, сарказм и культурные различия, юмор - меняются также от контекста, географии, социального уровня.
4. Повторение - не значит правило
Когда алгоритмы находят закономерность в данных, они тоже ошибаются.
К примеру, требуется разделить изображения на природу и людей. Проанализировав сотню картинок, алгоритмы сделают вывод. Все зеленого цвета - природа. А значит картинку с человеком, в скажем, зеленом халате, машина классифицирует как дерево.
Так что нам ждать от NLP будущем
Он развивается. Очень сильный скачок технологии был в 2018 году, когда разработчики выложил в мир первый исходный код модели BERT. Эта модель уже была частично обучена и легко позволяла встроить себя в продукт, сайт или технологическое решение.
На российском рынке, альтруистом стал продукт DeepPavlov. Абсолютно бесплатная, открытая библиотека разговорного ИИ. В ней уже содержатся обученные нейросетевые модели и инструменты для интеграции.
У компании iPavlov есть так же платформенный продукт IVA, который позволяет самостоятельно собрать чат-бота. Любой желающий без навыков программирования, может сделать своего бота в конструкторе, благодаря красивой и удобной визуализации.
Немного футуризма
Перспективной областью применения NLP являются не только голосовые запросы и чат-боты. В будущем, вероятно, появятся куда более удобные и полезные функции, например, сотрудник может голосовым запросом вытащить любые данные из корпоративной базы знаний. Или работник завода, не отрываясь, сможет узнать точное соотношения сплавов для литья. И, возможно, со временем, машины смогут говорить с нами на одном языке.
Кстати говоря, активное использование чат-ботов и голосовых ассистентов очень стимулирует развитие NLP, Искусственному Интеллекту важно накапливать данные и логические цепочки. Так что, если захотите внести свой вклад в развития NLP, не игнорируйте чат- боты на сайте и активно используйте голосовых помощников.
А если вам интересно почитать еще про то, как мы создаем и развиваем ИИ и NLP, ждем вас на нашем сайте iPavlov.