Введем несколько определений. На пальцах: берем элементы выборки, что-то с ними делаем (умножаем, делим и тд.) и получает статистику. Аналогично для оценки - только она будет еще и приближать параметр. Помним такую табличку Например, в ТВ мы можем найти математическое ожидание, а в математической статистике мы можем только с помощью элементов выборки приблизиться к математическому ожиданию. В математической...
Общепринятой сейчас является точка зрения на математическую статистику как на науку об общих способах обработки результатов эксперимента. Решая эти проблемы, статистика одновременно устанавливает и качества, какими должен обладать эксперимент, чтобы сделанные на его основании суждения были правильными. Это приводит к тому, что она часто дает рекомендации по проведению эксперимента, становится отчасти наукой о его планировании. (Эта сторона ее особенно бурно развивается в настоящее время). Но так смотрели на статистику далеко не всегда...