Год назад я запустил pet project по сбору корпоративных новостей в единую удобную ленту. Цель заметки - собрать в одном месте различную информацию, и подвести итоги года работы.
Предыстория
Все началось с того, что в какой-то момент мне захотелось отслеживать появление на Reddit новых тем с определенными ключевыми словами. При этом желательно, чтобы список новых тем прилетал автоматически через один из удобных мне каналов связи.
Все, что надо было для этого - это сервис, который бы периодически заходил на поисковую страницу сабреддита, парсил новые темы на наличие слов, заносил в свою базу и, если темы не было уже в базе, посылал мне уведомление в Telegram. Хотя в интернете есть ряд сервисов, которые позволяют следить за изменениями на веб страницах, но настраивать в них фильтрацию мне показалось сложнее, чем сделать собственный скрипт. В общем, готового легкого способа на тот момент я сходу не нашел и решил сделать свой “велосипед”. После того, как был готов первый прототип, стало понятно, что его можно применить не только для Reddit’а.
Я всегда считал и считаю, что полезно регулярно отслеживать публичные новости той компании, где работаешь. Удобно это делать, когда есть новостной канал: RSS, Twitter или еще что-то. К сожалению, когда компаний в группе много, у каждой есть свой самостоятельный сайт (зачастую, без RSS), следить за всем очень сложно. Так вот, собранный на тот момент сборщик новостей с Reddit прекрасно подходил для того, чтобы собирать новости с нескольких сайтов в единый фид.
Реализация
- Сервис написан на Python и располагается в PaaS облаке IBM Bluemix. Кодовая база - чуть больше 1 тысячи строк.
- База данных - MongoDB в облаке mlab.com
- Автоматически отслеживаются почти 20 новостных страниц компаний Группы АО “РТИ”
- Веб версия с адаптивным дизайном на Bootstrap
- Собственная админка для управления новостями
- Есть бот в telegram для сбора обратной связи
- Предусмотрена самодиагностика на случай невозможности сбора новостей с конкретного сайта
Результаты работы за год
- Создан самостоятельный сайт со списком всех новостей и возможностью фильтрации новостей по компании
- Собрано свыше 800 новостей
- Сайт вышел на первую страницу в Яндексе по запросу “АО “РТИ” и прочим запросам. В Google почему-то попадает только на вторую.
- Стал для коллег из PR служб РТИ и АФК (подписка в Twitter) реальным рабочим инструментом для мониторинга новостей группы
- Одна из дочерних компаний Группы встроила ленту новостей на свой официальный сайт
- Посещаемость ~50-100 человек в месяц. Это, конечно, очень скромно.
- В качестве побочного эффекта, сервис работает как сервис мониторинга доступности новостных сайтов компаний. Несколько раз именно за счет него удавалось оперативно заметить истекший SSL сертификат.
Планы по развитию
В целом в настоящее время сервис вышел в stable maintenance стадию, но в перспективе подумываю добавить несколько функций
- Доделать автоматический мониторинг некоторых совсем сложных для парсинга сайтов (там мало новостей и сейчас они собираются в лишь частично автоматизированном режиме)
- Добавить API для кастомных RSS фидов, чтобы можно было подстроить ленту под себя
- Выложить исходный код на GitHub
Вот собственно и все. Если у вас есть предложения, то прошу писать сюда в комментарии или на mail@rtinews.ru.
PS. А с Reddit, в итоге, удалось настроить все совсем просто. Оказалось, что API-поиска Reddit может легко отдавать rss-фид, на обработку которого я настроил пару апплетов с IFTTT.com