Я работаю программистом, и в том числе занимаюсь машинным обучением применительно к анализу текстов. При обработке естественного языка требуется предварительная подготовка документов, и одним из способов является лемматизация – приведение всех слов текста к их нормальным формам с учетом контекста. Недавно мы столкнулись с проблемой больших временных затрат на этот процесс. В конкретной задаче было более 100000 документов, средняя длина которых около 1000 символов, и требовалось реализовать обработку на обычном локальном компьютере, а не на нашем сервере для вычислений...

Источник: Nuances of Programming Вероятно, вы находитесь здесь потому, что хотите как можно скорее научиться обработке естественного языка. Без лишних слов приступим к процессу. Первым делом следует: 1. Установить зависимости (Python версии 3.7 или выше). 2. Скачать IDE или установить Jupyter Notebook. Чтобы установить Jupyter Notebook, добавьте в командную строку pip install jupyter-notebook, а затем введите jupyter notebook, чтобы запустить его. После этого откроется страница с программой по локальному адресу http://127...