О сколько нам открытий чудных...
Предыдущая часть
История
В прошлый раз дело остановилось на старте работ над редактором текста, и эта задача запустила новое увлекательное приключение.
Как по мне, одним из самых увлекательных моментов программирования как навыка является то, что сам по себе он вообще бесполезен.
Да, можно с маниакальным рвением сидеть над разными супер оптимальными алгоритмами и собирать убер-эффективного коня в вакууме на своей рабочей машине, но это никому по сути не нужно. С очень небольшой долей вероятности из такой деятельности может получиться что-то прорывное, но скорее всего нет.
Главная же ценность программирования в том, что его нужно прикладывать к другим областям деятельности и знаний, в следствие чего уже на том поле можно совершить настоящие подвиги.
И вот даже когда у вас есть много-много лет опыта в совершенно разных областях человеческой деятельности, остаётся шанс, что вступая в новый проект, найдется нечто, что может очень сильно удивить.
Вот такая удивительная ситуация и случилась в процессе работы над этим проектом. И до начала попыток реализации функционала я даже не подозревал, насколько глубока эта кроличья нора.
Если быстро напомнить, то сейчас идёт этап автоматизации части работ над текстами. То есть задумка в том, чтобы максимально перенести весь процесс, который ранее был придуман в формат одного экрана:
- текст пишется;
- проверяется на ошибки и опечатки;
- проверяется на качество.
Вроде бы ничего сложного. Вроде бы и существует куча сервисов. Но если начать вникать, эта задача не так уж и проста.
Первым наскоком была идея настроить интеграцию с теми сервисами, куда я руками загонял текст для проверок:
- Текст.ру (https://text.ru/), где есть проверка уникальности, орфографии и CEO оптимизации текста.
В первом случае, после изучения документации выяснилось, что у Главред есть возможность интеграции со сторонними сервисами, но полный функционал очень дорогой, бесплатная версия имеет ограничения и упрощения, и на беду сервиса мне попался пост-обсуждение редакторов с критикой подхода этого сервиса с работе с текстами. В общем суммарно эти факторы заставили притормозить с решением.
Со вторым сервисом получилось немного по-другому. Текст.ру тоже предоставляет инструменты для интеграции, есть бесплатный режим и функционал там не ущемляется по возможностям. Но вот беда - есть ограничение на объем текста в день и при превышении лимитов нужно докупать объемы символов.
Оба варианта, как показалось, не вписываются в концепт проекта, где есть начинающий автор с дырой в кармане, которому нужно начать быстро и максимально бесплатно распространять своё творчество в сети. Поэтому начался этап глубокого анализа и декомпозиции.
Решение
С учётом того, что проект строится на python, следующей гипотезой для проработки стала обширная коллекция готовых библиотек и решений, которые можно внедрить и получить решение без ограничений, зависимостей от третьих сервисов и бесплатно.
И такие библиотеки действительно обнаружились достаточно быстро.
Следующим шагом было нужно понять, что более актуально и подходит для конкретно случая данного проекта. Консультации (куда же без него) проводились с помощью ИИ, но и старое доброе чтение форумов тоже никуда не делось.
В итоге стало понятно, что проблема автоматического анализа текстов на самом деле одна из самых сложных задач программирования в современности и то, к чему мы привыкли в текстовых редакторах на поверку оказывается результатом очень сложных технических решений. Особенно сильно машины страдают при работе со сложными языками, такими как русский (+1 к сложности моей задачи).
Тем не менее, фронт работ был определен, план был декомпозирован на более мелкие подпункты и стало понятно, как это будет выглядеть в итоге.
Получилось даже три подзадачи:
- Анализ орфографии, пунктуации, семантики. По ка что выбранные библиотеки - nltk, spacy, grammar_ru - которые судя по всему закроют базовые потребности.
- СЕО оптимизация текстов - ключевые слова, удобочитаемость, заспамленность - py_readability_metrics, textacy, dostoevsky.
- Технические доработки проекта, которые будут не видны пользователю, но которые улучшат работу с текстом и видимость сайта для поисковых систем.
Итого сформировался новый план, посмотрим, что получится собрать в работающую версию. Было:
❌ выпустить версию 0.2.0 с обновленным "умным" редактором текстов.
Ожидается:
- выпустить версию 0.2.0 с техническими доработками
- начать внедрять СЕО метрики в редактор в версии 0.2.1
Аналитика
Количество постов: 1
Затраты в часах: 12,5 часов
Затраты в стоимости: 10 909.10
Итого:
Затраты за последний месяц / за всё время (23 месяца)
-10 909.10 / -213 847.97
Доходы
0 / 0