Дотошность и завидное упорство подготовленного читателя позволили продемонстрировать ахиллесову пяту современных научных и научно-популярных статей — использование вторичных источников информации.
В марте этого года американское академическое издание «Хроники высшего образования» опубликовало статью профессора Леи Уэсбёрн-Мозес (Leah Wasburn-Moses), критикующую действующую систему заключения контрактов с научными сотрудниками. Среди аргументов автора были данные исследования, согласно которому половина научных статей читается только автором, референтом и издателем, а в среднем каждую публикацию изучают десять человек.
Один из читателей, профессор Артур Яго (Arthur Jago) обратил внимание на приведенные факты. «Во-первых, меня удивили сами цифры. Во-вторых, я был озадачен тем, как кто-то мог разработать исследование, чтобы эмпирически определить, что некоторые опубликованные статьи никогда не читались».
Яго связался с автором и получил отсылку к источнику, статье 2014 года в журнале Смитсоновского университета. В тексте указана нерабочая ссылка на данные Университета Индианы, поэтому пришлось писать смитсоновскому автору, переправившему профессора к статье Локмана Мехо (Lokman Meho), опубликованной в 2007 году журналом лондонского Института физики «Мир физики». Мехо сообщил, что данные о читаемости научных работ были добавлены редактором при публикации и он не интересовался их происхождением. При этом работа была процитирована более 300 раз.
Пришлось разыскивать редактора лондонского журнала, пояснившего, что он использовал информацию, полученную на курсе в Имперском колледже Лондона в 2001 году. Яго связался с преподавателем этого курса, к тому времени уволившимся. За давностью событий тот не смог предоставить каких-либо ссылок, но уверил, что весь материал многократно проверялся и ошибок быть не должно.
Редактор «Мира физики» предположил, что материал курса Имперского колледжа мог базироваться на статье 1991 года в журнале «Наука». Профессор разыскал статью и обнаружил, что она посвящена не прочтению, а цитируемости научных работ. Этот показатель действительно можно отследить и изучить, но он никак не коррелирует с просмотрами. В итоге установить происхождение утверждения о том, что средняя академическая статья имеет «около десяти читателей», оказалось невозможно.
Расследование профессора Яго прекрасно демонстрирует опасность использования вторичных источников в научных работах. Кроме того, нередки случаи, когда автор работы пользовался вторичным источником с ошибками в данных, но честно дал ссылку на первоисточник, которого не видел. Исследование с использованием статистического моделирования повторяющихся идентичных опечаток в библиографических записях показало, что только 20% авторов читают оригинальную статью, на которую ссылаются в собственной работе. Иными словами, 80% авторов научных работ являются потенциальными распространителями ошибок.