У нас есть данные, практически все примерно одинаковы, но встречаются и такие, которые сильно отличаются, они много больше, либо много меньше большинства значений. Как раз такие, выделяющиеся из толпы данные, и есть выбросы. Они появляются из-за ошибок в данных. Их необходимо искать и, конечно, их необходимо удалять...
Общепринятой сейчас является точка зрения на математическую статистику как на науку об общих способах обработки результатов эксперимента. Решая эти проблемы, статистика одновременно устанавливает и качества, какими должен обладать эксперимент, чтобы сделанные на его основании суждения были правильными. Это приводит к тому, что она часто дает рекомендации по проведению эксперимента, становится отчасти наукой о его планировании. (Эта сторона ее особенно бурно развивается в настоящее время). Но так смотрели на статистику далеко не всегда...