Любите ли вы корреляции, так, как любим их мы? О, эти взаимосвязи между количеством пингвинов и скоростью движения банановозов, между биржевым курсом золота и производством тяжелых станков, между фазами луны и количеством написанных песен! Так, … стоп.
Они, конечно, могут меняться в одно и то же время, и даже с одинаковыми интервалами, но связаны ли они? Давайте разбираться.
Итак. Корреляция— один из фундаментальных и интуитивно понятных методов статистики, чья история тесно связана с развитием самой науки о данных. Соотношения между явлениями были всегда. Как и люди, которые пытались их находить и интерпретировать. Помните таких деятелей под названием «авгуры»? То-то. Они тоже работали с корреляциями полета птиц и любых вероятных событий в будущем. Шаманы с внутренностями животных туда же. Считайте, - это древние варианты прогнозирования. С отчаянным поиском корреляций. И находили, кстати.
А вот как научный термин и описанный инструмент статистики корреляция появилась только в 19 веке годах так 1880-х. «Отцом» корреляции считается Фрэнсис Галтон (Francis Galton). Да-да, тот самый кузен Дарвина. Да-да – в ходе того самого научного движа, о котором мы писали тут и тут. Там тогда вообще много чего родилось. Но, по порядку…
К 19 веку идея о взаимосвязи переменных витала в воздухе. Ученые в биологии, экономике, астрономии наблюдали, что некоторые величины изменяются вместе (например, рост и вес, спрос и цена). Однако точного математического инструмента для измерения степени этой связи не было. Ограничивались графиками (диаграммы рассеяния появились в конце XVIII века) и описательными заключениями.
А тут наш герой, Ф.Галтон как раз изучал наследственность (увы, увы, - те самые зачатки евгеники). Он хотел количественно измерить, как характеристики родителей (например, рост) передаются детям. Галтон заметил, что при наследовании наблюдается «регрессия к среднему»: у очень высоких родителей дети, как правило, ниже их (ближе к среднему росту популяции), и наоборот. И ввел понятие "коэффициент регрессии".
В 1888 году Галтон ввел в научный оборот статистический термин «корреляция», описывая связь между размерами разных частей растений и организмов.
Но это было само открытие как явление. А формализовал метод - … Карл Пирсон (мы же обещали продолжение его истории тут. Вот – пожалуйста, и дальше еще будет) Как ученик и преемник Галтона он развил идеи учителя и вывел формальный математический аппарат.
В 1896 году Пирсон разработал тот самый коэффициент корреляции Пирсона (r), который сегодня является стандартом. Он дал ему строгое определение через моменты распределения, сделав метод универсальным и независимым от единиц измерения.
Интересно, что сам Пирсон называл его «коэффициентом корреляции Галтона», но в историю он вошел как "коэффициент корреляции Пирсона".
Дальше еще есть развитие истории, но в этот пост уже не влезет. Далее расскажем и про бизнес, и про производство, и много еще про что.
А тут только любопытный исторический факт приведем:
Первое известное графическое изображение корреляционной связи (прототип диаграммы рассеяния) приписывают французскому философу и математику Никола де Кондорсе ещё в XVIII веке, который таким образом анализировал данные о смертности (он как раз на картинке).
Ну, и как пролог продолжения приведем известный принцип, сформированный еще в те времена: «Корреляция не означает причинно-следственную связь» (Correlation does not imply causation).»
Идем дальше. Не отключайтесь…..
#методы #статистика #история #аналитика