Большие данные (Big Data) - это массивы информации, настолько огромные и сложные, что традиционные методы обработки данных уже не справляются с их анализом. Однако такие данные содержат ценную информацию, которая может быть использована для принятия решений, прогнозирования, оптимизации процессов и многого другого. Рассмотрим подробнее, откуда такие данные можно взять.
1. «Яндекс.Новости» (https://dzen.ru/news?issue_tld=ru).
Cервис содержит справочную информацию, а также возможность поиска по свежим сообщениям и архивам сотен русскоязычных СМИ. Сама система бесплатная, ей может воспользоваться каждый желающий.
В базе данных на отдельных страницах представлены центральные, зарубежные, региональные и специализированные СМИ. Издания также рубрицированы по типам: информационные агентства, пресса, телеканалы, радио, сетевые СМИ, тематические сайты и официальные источники. На странице каждого издания, наряду с краткой справкой, содержится контактная информация: адрес, телефон, имя руководителя.
Ежедневно система обрабатывает около 10 тыс. сообщений. Всего в базе данных СМИ содержится 3,6 млн. документов.
2. Google Trends (https://trends.google.ru/trends/?geo=RU)
Публичное web-приложение, основанное на поиске Google, которое показывает, как часто определенный термин ищут по отношению к общему объему поисковых запросов в различных регионах мира и на различных языках. База данных тоже является бесплатной.
Кроме того, приложение дает возможность сравнить популярность нескольких запросов в динамике за различные периоды: от последнего часа до периода с 2004 года по настоящее время. Есть возможность регулировать не только период, но и различные категории: от спорта до науки, сравнить динамику популярности по регионам РФ и т.д.
Помимо этого, web-приложение позволяет выгрузить данные по запросам в формате Excel, что позволяет самостоятельно проанализировать данные по запросам.
3. Country meters (https://countrymeters.info/ru)
Сайт, который содержит огромный массив статистических данных о населении Земли, населении разных стран в динамике, его половозрастной структуре, данные о соотношении городского и сельского населения, урбанизации, продолжительности жизни, грамотности населения и многого другого
Данные о численности населения большинства стран основаны на публикациях Отдела народонаселения при Департаменте по экономическим и социальным вопросам ООН.
4. Медиалогия (https://www.mlg.ru/)
Интернет-платформа - разработана для поиска, сбора, обработки информации, размещаемой в сети. Платформа предназначена для анализа постов, размещенных на страницах популярных социальных сетей, региональных и отраслевых форумов, тематических блогов. Кроме того, можно оценивать степень вовлеченности пользователей в информационный поток, анализировать тональность получаемых сообщений (негатив или позитив).
------------------------------------------------
Большие данные представляют собой огромные массивы информации, которые сложно обработать традиционными методами. Они необходимы для прогнозирования, аналитики, оптимизации бизнес-процессов, персонализации услуг, медицины, безопасности и многих других областей.