Продолжаю серию заметок по книге D.Hand "Improbability principle", описывающую причины появления редких событий. Предыдущие заметки: вторая, первая, предварительная.
Сегодня обсудим принцип выбора: ошибку, которая состоит в выборе подходящих событий и игнорировании всех остальных. Проявлений у нее много. Например, вероятность дожить до ста лет невелика, но у 90-летнего старика она повыше. Если мы понаблюдаем за стариками, мы увидим больше столетних юбиляров, чем будет в целом по популяции (в процентном отношении).
Сюда же примыкает принцип техасского стрелка: рисовать мишень вокруг каждого попадания. Выигрыши в казино, лотереи и на бирже и вообще истории успеха: мы о них много слышим, и не только потому, что это кому-то выгодно. Просто история проигрыша не очень увлекательна.
Вообще, истории неудач часто более полезны, чем истории успеха.
Совсем серьезно это становится в области публикаций. Статьи про неудачи не публикуются, как правило. Публикуются успехи. Поэтому политика постоянного потока статей и грантов с жестким дедлайном по отчету ведет науку в тупик: ученый в наши дни редко может себе позволить несколько лет старательно копать.
Забавный пример --- красная точка с надписью "Вы здесь" на городской карте. Откуда карта знает, где читающий ее сейчас находится? Это смешно, но есть же опросы вроде "Опрос в интернете показал, что 100% населения имеет доступ к интернету" или "ответ на вопрос 'отвечаете ли вы на опросы в журнале' был 100% положительный".
Можно ли отсеивать некоторые наблюдения в выборке, которые не укладываются в схему? Иногда можно, но аккуратно. Если это редкие, но существенные события, то их можно запросто пропустить.
Все обнаруженные черные дыры входят в двойные системы. Не потому, что нет одиночных черных дыр --- просто их мы не умеем пока обнаруживать. А все открытые пульсары ориентированы так, что пучок излучения направлен на Землю. Нет, не потому, что мы в центре Вселенной))
Почему, когда ошибаешься номером телефона, он никогда не бывает занят? Потому что если он занят, ты не узнаешь, что ошибся.
Знакомый гидрометеоролог рассказал мне, что однажды капитаны кораблей вышли в море, несмотря на штормовое предупреждение, и несколько кораблей затонуло. Гидрометцентр не виноват --- он дал предупреждение. Но он давал его и накануне, и за два дня до того. У них есть вероятность шторма, достаточно высокая --- они дают предупреждение. Про два дня простоя никто не слышал, а про затонувшие суда "писали в газетах".
Императора Калигулу убили сразу после того, как он увидел сон на эту тему. Сон не удивителен, потому что покушения на него уже были. Совпадение закрепилось в веках. Сколько человек видели такой сон и даже рассказывали о нем, но он не сбылся?
Принцип отмечен еще Ф. Бэконом 400 лет назад: в церкви есть дары от тех, кто дал обет и обет защитил их от кораблекрушения; но те, кого обет не защитил, дары не принесли по чисто техническим причинам.
Не знаю про дельфинов, спасают ли они людей. Но шутка, что о спасении рассказывали только те, кого толкали к берегу, имеет смысл.
Сюда же ошибка выжившего. Если самолеты прилетают на базу из боя с пробитыми крыльями, а с пробитым брюхом не прилетают, то укреплять надо брюхо, а не крылья. Потому что брюхо целое у выживших не потому, что в него не попадают, а потому, что кому попали --- он не выживает.
Рассмотрим изменчивую случайную величину, например, число аварий на куске дороги или эффективность лекарства. В среднем получается столько-то, но есть разброс. Что, если мы выделим аварийный (за год) кусок дороги и поставим там камеры? Аварийность снизится, но не "потому", а просто из-за регрессии к среднему. Впрочем, возможно, что у аварийности есть объективные причины.
То же для лекарств. Например, очень трудно тестировать лекарства от простуды. Она сама проходит, и выделить тренд статистически сложно. Зато очень удобно мошенничать, излечивая болезни мановением мизинца, когда человек уже пошел на поправку.
Тема следующей заметки серии --- рычаг невероятности.