Наука функционирует по принципам самоконтроля. Это проявляется в системе рецензирования научных журналов, а также в публикациях данных о методах и материалах исследования.
В то же время новые свидетельства и гипотезы снова и снова проверяют новыми данными – в случае необходимости их расширяют и исправляют.
Такое пошаговое исследование можно наблюдать во время современной пандемии коронавируса. Covid-19 считали сначала легочной болезнью. Сейчас же известно, что вирус атакует практически все органы. Кроме того, детей сначала считали неуязвимыми к болезни – зато сейчас есть доказательства редких осложнений. До сих пор множество других вопросов остаются открытыми, в частности относительно SARS-CoV-2 или относительно дальнейшего развертывания пандемии.
Эксперимент для подтверждения качества исследований
Насколько ученые будут едины в своих результатах исследования, когда на основе одних и тех же данных подойдут к выводам? Это проверили ученые под руководством Тома Шонберга (Tom Schonberg) из Тель-Авивского университета в одном эксперименте – крупнейшем в своем роде.
Для этого ученые отобрали мозговые снимки 108 испытуемых, принимавших участие в нейропсихологическом исследовании. Эти снимки, которые сделали с помощью томографии, демонстрировали мозговую активность испытуемых во время принятия определенных решений.
108 пакетов данных Шонберг и его команда отправили 70 научным группам в разные уголки мира. Их задача состояла в том, чтобы проанализировать данные стандартными для каждой команды методами и так проверить девять указанных гипотез. Конечным результатом должен быть короткий ответ «да» или «нет».
Команды ученых имели три месяца, чтобы проанализировать данные. После этого ученые предоставили Шонбергу и его коллегам свои выводы относительно различных гипотез, а также промежуточные результаты и подробную информацию о процессах анализа.
Финальные результаты
Сравнение показало: промежуточные результаты и обобщенные данные команд более или менее согласовывались. Также карта мозговой активности, которая возникала на основании исходных данных, была в основном одинаковой у всех команд – показал метаанализ.
Но финальные результаты выглядели иначе, рассказали ученые: в отношении пяти из девяти гипотез проявились существенные разногласия. Вероятной причиной ученые считают, что сложные результаты нужно было свести к очень упрощенному «да» – «нет».
«Эта проблема касается анализа всех сфер, где приходится работать со сложными данными, которые в результате нужно упростить до ответа "да" или "нет"», – пояснил соавтор Симон Айкгоф (Simon Eickhoff) из Юлихского исследовательского центра.
Так ученые доказали, что анализ сложных данных зависит и от того, кто их оценивает, и от того, в какой форме происходит исследование. Несмотря на идентичные исходные данные и четкие вопросы, прежде всего, при интерпретации может дойти до существенных разногласий.
Выводы
По мнению ученых, это доказывает, что необходимо публиковать материал исследования и методологию – только так другие команды могут отследить процесс анализа.
«Данные играют все большую роль в исследовании, при таких условиях кооперация и прозрачность важны», – говорит Айкгоф.
Факт, что почти 200 ученых были готовы вкладывать сотни часов в этот эксперимент, также свидетельствует об их готовности.
Читайте также: Ядерные испытания изменяли погоду
