Байес был бы удивлён такой популярности.
"Байесовская статистика проникает везде, от физики до исследований рака, от экологии до психологии» (The New York Times).
Физики предложили байесовские трактовки квантовой механики и байесовские защиты теории струн и теории мультивселенных. Её используют медики при генетическом анализе плода или оценке рисков заболеваний, юристы, между прочим, для консультаций в судах.
Философы рассуждают о том, что всю науку в целом можно рассматривать, как байесовский процесс, и что Байес помогает отличить науку от псевдонауки, даже лучше метода фальсифицируемости, популяризованного Карлом Поппером.
Исследователи искусственного интеллекта, включая разработчиков робомобилей в Google, применяют Байеса, чтобы помогать машинам распознавать закономерности и принимать решения. Когнитивисты предполагают, что в нашем мозге работают алгоритмы Байеса, когда он ощущает, размышляет и принимает решения. И проводят на эти темы конференции.
Немного предистории
Теорема Байеса, названная так в честь пресвитерианского священника XVIII века Томаса Байеса [правильная транскрипция – Бейз], – это метод подсчёта обоснованности верований (гипотез, заявлений, предложений) на основе имеющихся доказательств (наблюдений, данных, информации).
Простейшая версия звучит так:
изначальная вера + новые свидетельства = новая, улучшенная вера
?Может отсюда и взялся алгоритм под названием "Наивный Байес" в МО?
Сама теорема сегодня и её интуитивное объяснение
математически выглядит так:
P(B|E) = (P(B) * P(E|B)) / P(E)
где P – вероятность, B – убеждение, E – свидетельства. P(B) – вероятность того, что B – истинно, P(E) – вероятность того, что E истинно. P(B|E) – вероятность B в случае истинности E, а P(E|B) – вероятность E в случае истинности B.
И вытекает, в принципе, из формулы для условной вероятности.
Для демонстрации используем пример с медицинскими анализами. Допустим, пациента проверяют на наличие рака, который появляется у 1% людей его возраста. Если тест на 100% надёжен, то теорема не нужна, чтобы понять, что означает положительный результат – но посмотрим на такую ситуацию для примера.
*А, кстати, разве бывают такие тесты?*
P(B), вероятность того, что у пациента рак до тестирования, равна 1%, или 0,01. Такова же и P(E), вероятность того, что результат теста будет положительным. Так как они стоят в числителе и знаменателе, они сокращаются, и остаётся P(B|E) = P(E|B) = 1. Если результат анализов будет положительный, у пациента рак, и наоборот.
В реальном мире надёжность анализов редко достигает 100%. Допустим, тест надёжен на 99%. То есть, 99 из 100 человек, больных раком, получат положительный результат, и 99 здоровых людей из 100 получат отрицательный результат. И это всё равно будет удивительно надёжный тест.
Вопрос: если тест дал положительный результат, какова вероятность того, что у пациента рак?
Вот теперь теорема Байеса показывает свою мощь. Большинство людей посчитают, что ответ — 99%. Ведь тест настолько надёжен, верно? Но правильный ответ будет – всего лишь 50%.
Чтобы узнать, почему, вставьте данные в правую часть уравнения. P(B) всё ещё равна 0,01. P(E|B), вероятность получить положительный тест в случае рака, равна 0,99. P(B) * P(E|B) = 0,01 * 0,99 = 0,0099. Такова вероятность того, что будет получен положительный тест, показывающий, что пациент болен.
Что насчёт P(E)? Тут есть хитрость. P(E) – вероятность получить положительный тест вне зависимости от того, болен пациент или нет. Иначе говоря, в неё входят ложные положительные срабатывания и истинные положительные срабатывания.
Чтобы подсчитать вероятность ложного положительного срабатывания, нужно умножить количество ложных срабатываний, 1% или 0,01, на процент людей, не больных раком – 0,99. Получается 0,0099. Да, отличный тест с 99%-й точностью выдаёт столько же ложных срабатываний, сколько и истинных.
Закончим подсчёты. Чтобы получить P(E), сложим истинные и ложные срабатывания, получим 0,0198, поделим на это 0,0099, и получим 0,5. Итак, P(B|E), вероятность того, что у пациента рак в случае положительного теста, равна 50%.
Если пациент ещё раз пройдёт тест, то можно кардинально уменьшить неопределённость, поскольку вероятность наличия у него рака P(B) будет уже 50% вместо 1.
Если второй тест тоже будет положительным, по теореме Байеса вероятность наличия у пациента рака будет равна 99%, или 0,99. Как показывает этот пример, повторение теоремы может дать очень точный ответ.
Но если надёжность теста 90%, что совсем неплохо, шансы на наличие у пациента рака даже в случае дважды полученных положительных результатов всё ещё меньше 50%.
Всё сводится к тому, что ваши убеждения достоверны настолько, насколько верны свидетельства в их пользу. Если у вас есть хорошие доказательства, теорема выдаёт годные результаты. Если доказательства так себе, теорема вам не поможет. Мусор на входе, мусор на выходе.
Проблемы с теоремой могут начинаться с величины P(B), изначального предположения по поводу вероятности ваших убеждений, часто называемой априорной вероятностью. В примере у нас была красивая априорная вероятность 0,01. В реале эксперты спорят по поводу того, как диагностировать, и ваша априорная вероятность, скорее всего, будет состоять из диапазона, а не из одного числа.
А что если событий больше?
Использование в генетике
В генетике теорема Байеса может использоваться для вычисления вероятности наличия у индивидуума определенного генотипа. Например, на основе семейного анамнеза или генетического тестирования, чтобы предсказать, разовьется ли у человека болезнь или он передаст ее своим детям.
Генетическое тестирование и прогнозирование - обычная практика среди пар, которые планируют иметь детей, особенно в сообществах с низкой генетической дисперсией.
Первым шагом в байесовском анализе в генетике является выдвижение взаимоисключающих гипотез: для определенного аллеля индивидуум либо является, либо не является носителем. Далее вычисляются четыре вероятности: априорная вероятность (вероятность каждой гипотезы с учетом семейной истории и предсказания, основанные на наследовании по Менделю), условная вероятность (определенного результата), совместная вероятность (произведение первых двух) и апостериорная вероятность (взвешенное произведение, рассчитанное путем деления совместной вероятности для каждой гипотезы по сумме обеих совместных вероятностей). Этот тип анализа может быть выполнен на основе семейного анамнеза заболевания и совместно с генетическим тестированием.
Родительское генетическое тестирование может выявить около 90% известных аллелей заболеваний у родителей, которые могут привести к носительству или заболеванию у их ребенка, чему способствовал проект по секвенированию генома человека.
Например, муковисцидоз - наследственное заболевание, вызываемое аутосомно-рецессивной мутацией в гене CFTR, расположенном на q-плече 7-й хромосомы.
Байесовский анализ пациентки с муковисцидозом в семейном анамнезе, у которой тест на муковисцидоз оказался отрицательным, демонстрирует, как этот метод использовался для определения ее риска рождения ребенка с муковисцидозом:
Поскольку пациентка не поражена, она либо гомозиготна по аллелю дикого типа, либо гетерозиготна. Для установления априорных вероятностей используется квадрат Паннетта, основанный на знании того, что ни один из родителей не был поражен болезнью, но оба могли быть носителями:
Учитывая, что пациент не затронут, есть только три возможности. В рамках этих трех существует два сценария, в которых пациент является носителем мутантной аллели. Таким образом, априорные вероятности равны 2⁄3 и 1⁄3.
Затем пациент проходит генетическое тестирование, результаты которого отрицательны на муковисцидоз. Вероятность обнаружения этого теста составляет 90%, поэтому условные вероятности отрицательного теста равны 1/10 и 1. Наконец, совместная и апостериорная вероятности вычисляются, как и раньше.
После проведения того же анализа на партнере-мужчине пациента (с отрицательным результатом теста), вероятность того, что их ребенок будет поражен, равна произведению соответствующих апостериорных вероятностей родителей на то, что они являются носителями, умноженных на шансы, что два носителя произведут пораженное потомство (1⁄4).
Байесовский анализ может быть выполнен с использованием фенотипической информации в сочетании с генетическим тестированием. Муковисцидоз может быть выявлен у плода с помощью ультразвука, который ищет эхогенный кишечник, то есть тот, который выглядит ярче, чем обычно, на сканировании.
Это не надежный тест, поскольку эхогенный дефект кишечника может присутствовать у совершенно здорового плода. Родительское генетическое тестирование очень важно в этом случае, когда фенотипический аспект может иметь чрезмерное влияние на вычисление вероятности. В случае плода с эхогенным кишечником, у матери, которая прошла тестирование и, как известно, является носителем CF, задняя вероятность того, что у плода действительно есть заболевание, очень высока (0,64). Однако, как только тест отца на CF дает отрицательный результат, апостериорная вероятность значительно падает (до 0,16).
Расчет факторов риска является важным инструментом в генетическом консультировании и репродуктивном планировании, но его нельзя рассматривать как единственный фактор, который следует учитывать. Неполное тестирование может привести к ложно высокой вероятности статуса носителя, а тестирование может быть финансово недоступным или неосуществимым, когда родитель отсутствует. Такие нюансы.
Кризис воспроизводимости, и как из него выйти
Резонансной оказалась статья профессора Стэндфордской школы медицины в журнале PLOS Medicine "Почему большинство опубликованных результатов исследований являются ложными" - по Байесу получилось большинство результатов в медицине ложноположительно.
?Хотя, если вы работали в медицине, то знаете, что при положительном тесте и повторном положительном результате, болезнь есть практически всегда, а при отрицательном - тест мог просто не сработать по разным причинам, например, хранился не так. хм?
Обнаруживается следующий философско-научный парадокс - парадокс воспроизводимости.
Опрос 2016 г., проведённый журналом «Nature», показал, из 1576 участников (703 биолога, 106 химиков, 236 физиков и инженеров, 203 медика и др.) 70% хотя бы раз не смогли воспроизвести результаты чужих исследований, а половина не смогла воспроизвести даже свои собственные эксперименты.
Напомню, что выводы учёный делает на основе результатов экспериментов, которые должны быть описаны наиболее конкретным способом и воспроизводимы в любой оснащённой лаборатории. Это основные условия публикаций и планирования эксперимента изначально.
Так, многие исследования с нейровизуализацией, которые считались воспроизведёнными, совсем таковыми не являются – из-за неправильной обработки данных. С психологией всё ещё сложнее, оказывается, при наличии камеры и в её отсутствии одни и те же триггеры у человека выявляют себя по-разному. Голова, как говорится, предмет тёмный и исследованию не подлежит.
Какие выходы предлагают:
1. Логично - Улучшение владения статистическими методами. Учёные подтягивают свои навыки и знания матстатистики, относятся к вычислениям внимательно и не хватаются за первый же положительный результат, а проверяют его разным методами. В итоге – достоверность растёт. Чем тебе не торжество Байеса.
2. Предварительная регистрация исследований. Прежде чем начать исследование, учёные выкладывают свою гипотезу и общий дизайн исследования на специальные сайты (например, психологи и нейронауки сюда, а остальные в он-лайн журналы препринтов типа bioRxiv). Соответственно, иногда отсекаются манипуляции с выборкой или подгонкой гипотезы под результат. Есть открытость для обсуждений до официальной публикации.
3. Полное раскрытие методов и данных. Все результаты своих исследований, анкеты, отчёты, инструкции, статистику, формулы – всё это исследователи в некоторых областях загружают на специальный сайт «Открытая научная база», и всегда можно взять их данные и перепроверить. Но это пока, мне кажется, тестовый вариант.
4. Публикация отрицательных результатов. Раньше научные журналы старались принимать только статьи об открытиях, а вот «закрытия» их не интересовали. А поскольку публикация для учёного, это, в конечном итоге, возможность и дальше делать свою работу, каждый старался найти пусть завалящее, но открытие. Ну и, конечно, многие успешно находили. Между тем, отрицательный результат в науке очень важен – он показывает ошибки в гипотезе, в эксперименте, в направлении исследований. Если учёные знают об отрицательных результатах коллег, они экономят уйму сил и средств, не повторяя то, что уже проверено и отброшено.
В моей практике была такая история, когда в аспирантуре я выделила бактерию на селективной среде при использовании редкого подхода вдобавок, что предполагало наличие определённого свойства. Я в тот момент стажировалась в крупном европейском центре, и в местных журналах была статья авторов китайского происхождения, что у них они тоже растут на аналогичной среде, но это всё было названо модным термином, под которым нет, на мой взгляд, оснований, и вывод - ну таких свойств у них неизвестно, поэтому их и нет у данного рода.
Я никогда ничему не верю, кроме того, что достоверно видела своими глазами, и пыталась протащить статью в разные журналы, где мне давали отлуп, хотя в одном вышло потом дерево, как две капли воды, похожее на моё, и род со временем предложили разделить на несколько родов.
Впоследствии, тоже самое нашли японцы и испанцы, и мы с ними научно подружились. Были выделены ответственные гены, которые не выявлялись ранее традиционными праймерами. Сейчас это вполне себе известный феномен, представителей рода с таким свойством выделяют достаточно часто, описывая новые виды рода.
И базовый род предлагают отнести к другому известному с точки зрения медицины роду, а тут вобще что-то невероятное - медицински значимые бактерии с интересным экологическим свойством, тогда вопрос, а как всё это эволюционировало, откуда взялось. Но это уже другая история... А на тот момент известные учёные подходили ко мне на конфах с объятиями и говорили - "Ну и мне выдели интересного микроба из льдов Антарктики, юный гений". Мелочь, а приятно.
И таких историй, когда сначала с тобой спорили, даже руководители на тебя ругались, а потом это становилось трендом в науке, я знаю много и не только из личного багажа.
Поэтому нужно помнить, что все устои в науке относительны, как доказал Эйнштейн.