Эстиманд иногда еще называют истинным значением параметра в генеральной совокупности

Эстиманд иногда еще называют истинным значением параметра в генеральной совокупности

Эстиманды могут быть разные: среднее/матожидание, медиана, дисперсия, отношение шансов и т. д.

Поскольку нам недоступна вся генеральная совокупность, значение эстиманда нам неизвестно, и мы делаем выборку, на основе которой пытаемся оценить значение эстиманда

Формула или процедура, которая на основе выборки производит оценку значения эстиманда, называется (точечным) эстиматором ([point] estimator), оценщиком или просто (точечной) оценкой

Результат такого расчета по-русски тоже называется (точечной) оценкой, а в английском для этого есть термин (point) estimate

Например, я пронаблюдал три значения: 4, 8, 16

Если я хочу оценить матожидание (среднее) распределения из которого произошли наблюдения, я могу использовать формулу среднего арифметического — это мой эстиматор

Конкретный результат (4 + 8 + 16) / 3 = 9 1/3 — это точечная оценка матожидания

Мы ожидаем, что чем больше объем выборки, тем ближе должна быть оценка к истинному значению эстиманда

Собственно, именно это и делает оценку оценкой

Это ключевое архиважное свойство эстиматора — с увеличением выборки производить оценки, которые стремятся к эстиманду — называется состоятельность (или консистентность, consistency)

Состоятельность оценки не является самоочевидной и должна доказываться математически

Если это свойство не выполняется, мы говорим, что эстиматор несостоятелен (inconsistent)

Несостоятельные эстиматоры на практике бессмысленны: они не оценивают интересующий нас эстиманд, неважно, насколько большую выборку мы возьмем

Поскольку на вход эстиматору подается случайная выборка (т. е. случайные величины), посчитанная точечная оценка тоже является случайной величиной (на другой выборке она была бы другой)

Это значит, что для нашей оценки имеет смысл разговаривать, например, о ее матожидании

Более того, было бы здорово, если бы матожидание оценки было равно эстиманду

Такое свойство называется несмещенностью точечной оценки (unbiased estimators)

Несмещенность оценки можно интерпретировать как то, что, в среднем, мы находимся около истинного значения эстиманда; эстиматор не привносит систематических искажений

Существует целое ответвление статистики, которое занимается исключительно несмещенными оценками и их свойствами

Эстиматоры, которые не выполняют свойство несмещенности, в рамках этой области называют "не несмещенными" (not unbiased) или просто говорят о смещенных оценках / эстиматорах (biased estimators)

Также в рамках этой области говорят о "смещении эстиматора" (estimator's bias): разности между матожиданием оценки и истинным значением эстиманда

Смещение может стремиться к нулю при растущей выборке (тогда мы говорим про асимптотически несмещенные эстиматоры), а может и нет

Важно понимать, что свойство несмещенности (в том смысле, который я описал выше) является милым, но вторичным

Могут быть оценки несмещенные, но при этом несостоятельные: на практике они бессмысленны

Напротив, смещенная (в смысле, который я привел выше), но состоятельная оценка практически осмысленна и некоторые эстиматоры, которые мы применяем на практике, именно такие

Бывают даже состоятельные эстиматоры, которые при этом не являются несмещенными даже асимптотически (т.е. оценка сходится к эстиманду, а ее матожидание нет)

В генеральной совокупности у нас есть эстиманд, который мы ощупываем на основе выборки с помощью эстиматора

Ключевое свойство эстиматора — состоятельность: при увеличении объема выборки состоятельные эстиматоры выдают оценки, которые приближаются к эстиманду

Второе свойство, милое, но не необходимое — это несмещенность эстиматора

(Не)состоятельность и (не)смещенность эстиматора могут комбинироваться в любых сочетаниях

Проблемы начинаются, когда матстат сталкивается с биомедом

Конфаундинг (спутывающие факторы) может смещать наши оценки, делая их biased

Про смещенные выборки и прочее такое

И что это плохо, потому что никакие большие выборки от этого не спасают и его не лечат!