Инструмент, создаваемый учёными, позволяет подвергать глубокому анализу сообщения, опубликованные в Твиттере с 2008 года.Название проекта - Storywrangler. Новый инструмент может дать ежеминутное представление о популярности, от растущих политических движений до провалов в прокате; от ошеломляющего успеха K-pop до сигналов о новых болезнях. Storywrangler - это курирование и анализ более 150 миллиардов твитов. Некоторые из его ключевых результатов были опубликованы 16 июля в журнале Science Advances (ссылка на статью в конце новости).
Мнения многих
Команда из восьми ученых, придумавших Storywrangler, собирает около десяти процентов всех твитов, публикуемых каждый день по всему миру. Каждый день они разбивают эти твиты на отдельные биты, а также на пары и тройки, генерируя частоты из более чем триллиона слов, хэштегов, маркеров, символов и эмодзи.
Storywrangler - Это количественная оценка коллективного внимания.
Онлайн-инструмент, работающий на суперкомпьютере университета в Вермонте, представляет собой мощный алгоритм для просмотра и анализа рейтинга слов, идей и историй каждый день среди людей по всему миру.
«Это важно, потому что показывает основные дискурсы и как они происходят», - говорит Джейн Адамс, соавтор новой разработки.
В одном из испытаний большого массива данных команда показала, что его можно использовать для потенциального прогнозирования политических и финансовых потрясений. Они изучили процентное изменение использования слов «восстание» и «подавление давления» в различных регионах мира. Исследователи обнаружили, что количественный рост и падение этих ключевых слов в значительной степени связано с изменением устоявшегося индекса геополитического риска для тех же самых мест, откуда происходила выборка.
Что происходит?
Глобальная история, которая сейчас пишется в социальных сетях, ежедневно насчитывает огромное количество сообщений - комментириев, жалоб, угроз.Это сообщения о мировых войнах, котиках, политических движениях, новой музыке, о том что у вас на ужин, о смертельных болезнях,любимых звездах футбола, религиозные надежды, грязные шутки и важные политические заявления.
Ключевым моментом в работе системы является то, что алгоритм индексирует те вещи, о которых обычные люди говорят в повседневных разговорах, а не только выжимки из новостей», - говорит прикладной математик Крис Данфорт. Этот инструмент может обеспечить новые подходы в журналистике, эффективные способы взглянуть на обработку естественного языка и развитие вычислительной истории.
Людям во все времена было интересно, насколько сильные мира сего влияют на ход событий. Но гораздо более интересно другое - если бы мы знали, к примеру, что каждый крестьянин, солдат, лавочник, медсестра и подросток говорили во время Французской революции - как изменилась бы история тогда. Вот глубокий вопрос - что случилось? Что случилось на самом деле?
Глобальный анализ
Команда UVM при поддержке Национального научного фонда использует Twitter, чтобы продемонстрировать, как болтовня в распределенных социальных сетях может действовать как своего рода глобальная сенсорная система того, что произошло, как люди отреагировали и что может произойти дальше. По словам авторов проекта, алгоритм наряду с Твиттером теоритически может использовать и другие площадки, такие как Reddit, 4chan и другие.
Ссылка на статью в Science Advances о Storywrangler(на англ.)