На канале Veritasium вышел очень интересный ролик про научные исследования «экспертности» с интересными ссылками и пруфами. Один момент в ролике мне показался очень релевантным ко многим происходящим в мире дискуссиям. Поэтому я просто его переведу в целях распространения изложенных идей.
«Игроки в теннис делают сотни ударов справа на тренировках. Шахматисты играют тысячи партий прежде, чем стать мастерами спорта. Физики решают тысячи задач по физике. Каждый получает обратную связь. Игрок в теннис видит пролетел ли мяч над сеткой. Игрок в шахматы выигрывает или проигрывает партию. А физик решает задачу правильно или нет.
Но некоторые профессионалы не получают повторного опыта по решению однотиповых проблем.
Исследователь политики Филипп Тетлок взял выборку в 284 человека, которые зарабатывают на жизнь, комментируя или предлагая советы по поводу политических или экономических трендов. Сюда попали журналисты, эксперты во внешней политике, экономисты и аналитики.
В течении двух десятков лет он заваливал их вопросами в духе «Будет ли переизбран Джордж Буш, закончится ли мирно апартеид в Южной Африке, отделится ли Квебек от Канады или лопнет ли пузырь».
В каждом случае опрашиваемые оценивали вероятность возможных исходов. К концу исследования Тетлок набрал 82361 предсказание. И как они справились?
Вполне ужасно. Эти эксперты, большинство из которых имели послевузовское профессиональное образование, справились хуже, чем если бы они приписывали равные вероятности всем исходам.
Иными словами, люди, которые тратят свое время и зарабатывают на жизнь, изучая конкретную тему, производят более плохие прогнозы, чем случайное угадывание. Даже в областях, в которых они разбираются больше всего, эксперты были не лучше, чем не специалисты.
Проблема в том, что большая часть событий, которые им нужно было предсказать, были разовыми. У них не было опыта повторно пройти через такой же или очень похожий опыт ранее. Даже президентские выборы происходят довольно редко и каждый раз в отличающихся условиях.
Поэтому стоит опасаться экспертов, которые не имеют повторяющегося опыта с обратной связью».
Ролик называется «The 4 things it takes to be an expert». Рекомендую к просмотру.
Особенно порадовало исследование, где было две кнопки. Зеленая загоралась в 80% случаев, а красная — в 20%. Всё это совершенно случайно. Нужно было предсказывать какая кнопка загорится. Мыши довольно быстро начинают нажимать только на зеленую кнопку, игнорируя красную. А вот людям, даже в условиях полной случайности, кажется, что иногда лучше нажать на красную и в итоге они набирают не 80% правильных ответов, а в среднем 68%.
Люди видит закономерности там, где их на самом деле нет и иногда это приводит к печальным результатам. Тут сразу вспоминаются всевозможные астрологи и прочие гадатели, хотя ролик и не об этом.
