Понимание того, как идеи соотносятся друг с другом, является фундаментальным вопросом во многих областях, начиная от истории интеллекта и заканчивая коммуникацией с общественностью. Поскольку идеи естественным образом заложены в тексты, мы предлагаем первую структуру для систематической характеристики отношений между идеями, основанных на их появлении в своде документов, независимо от того, как эти идеи представлены.
Сочетание двух статистических данных - частоты встречаемости в документах и корреляции распространенности во времени - показывает, что данный подход позволяет выявить ряд различных способов, с помощью которых идеи могут сотрудничать и конкурировать. Например, две идеи могут тесно отслеживать распространенность друг друга с течением времени, хотя и редко. Предлагаемый подход способен раскрыть интригующие отношения между идеями через углубленные тематические исследования в новостях и исследовательских работах.
Идеи существуют в умах, но проявляются на языке, где они конкурируют друг с другом за скудный ресурс человеческого внимания. Милтон (1644) использовал метафору "рынок идей", чтобы утверждать, что истина победит, когда идеи будут свободно конкурировать; Докинс (1976) также сравнил эволюцию идей с естественным отбором генов. Под "идеями" подразумевается любые отдельные концептуальные единицы, которые могут быть идентифицированы, как присутствующие или отсутствующие в документе. Что значит для двух идей конкурировать в тексте в количественном выражении? Рассмотрим, например, вопрос иммиграции. Существуют две сильно противоречивые версии о примерно 11 миллионах человек, проживающих в США без разрешения властей. Одна из них - это "нелегалы", которые "крадут" рабочие места и лишают легальных иммигрантов возможностей, а другая - "нелегалы", которые уже являются частью структуры общества и заслуживают получение гражданства. Несмотря на то, что, по имеющимся сведениям, эти два тезиса конкурируют между собой, не сразу понятно, какие меры могут выявить эту конкуренцию в своде статей об иммиграции. Вопрос заключается в том, будут ли эти две идеи встречаться в одних и тех же документах или нет.В приведенном выше примере эти тезисы используются различными группами людей с различными идеологиями. Тот факт, что они не встречаются, лишь один из признаков того, что они могут конкурировать друг с другом.
Одного этого недостаточно для того, чтобы выразить процесс отбора идей, т.е. одни идеи постепенно исчезают, а другие приобретают популярность, аналогичную популяциям видов, обитающих в природе. Из двух сообщениях об иммиграции можно ожидать, что один будет выигрывать за счет другого по мере изменения общественного мнения. С другой стороны, мы можем ожидать, что эти мысли будут подкреплять друг друга, поскольку обе стороны активизируют свои действия в ответ на растущую оппозицию, подобно СССР и США во время "холодной войны". Для использования этих возможностей мы используем корреляцию распространенности во времени. Основываясь на этих выводах, предлагается система, которая сочетает в себе согласованность документов и корреляцию распространенности во времени. Эта структура дает четыре возможных типа соотношений. Это объясняется на примерах из новостных статей в американских газетах об иммиграции с 1980 по 2016 год.
Тема "иммигрант, не имеющий документов" имеет тенденцию совпадать с темой "Обама, президент", и обе темы поднимались в период действия нашей базы данных, вероятно, потому, что повествование "иммигранты без документов" было важной частью постановки Обамой иммиграционного вопроса. "Иммигранты, не имеющие документов" и "нелегалы, иностранцы" находятся в прямой конкуренции: эти две темы редко встречаются и "иммигранты, не имеющие документов" получают все большее распространение, в то время как использование "нелегалов, иностранцев" в газетах сокращается. В этих двух недиагональных примерах используются темы, связанные с правоохранительной деятельностью. В целом, понятия "иммиграция, депортация" и "задержание, тюремное заключение" часто употребляются в общих чертах, но понятие "задержание, тюрьма" сокращается, в то время как понятие "иммиграция, депортация" растет.
Возможно, это связано с обещаниями о пересмотре иммиграционной системы содержания под стражей. Гонка вооружений. Одна из вышеперечисленных тем для правоохранительных органов ("иммиграция, депортация") и тема о республиканской партии ("республиканская, партия") имеют отношение к вооружениям: оба они с течением времени становятся все более распространенными, что, возможно, предполагает наличие общих причин.