Есть у нас координатная плоскость. Аккуратненько наносим мы на неё точки. Строим график, игрек как-то там зависит от икс. Все точки нанесли, самое время задуматься, а как правильно соединить их между собой?
Можно, например, как в детской книжке с загадками: черточками от точки к точке. Однако на практике этот способ не очень хорош.
Дело в том, что таким образом мы получим ломаную линию, которая предполагает резкие изменения направления между точками. То есть любой выброс (точка, резко выдающаяся за пределы тренда) будет сильно влиять на характер графика. А это как-то нечестно по отношению к остальным точкам.
Поиском правильного способа проводить линию графика через его точки (это, конечно, упрощённая формулировка и в реальности задача касалась поиска способов обработки больших массивов данных) занимался и известный нам немецкий математик Карл Гаусс в самом конце 18-го века. Именно в результате этой работы появился метод наименьших квадратов.
Суть его такова: линия графика должна проходить вблизи точек таким образом, чтобы сумма квадратов отклонений по оси y между точками и линией минимальна.
Следуя такому правилу, какая-нибудь наглая, выбившаяся точка, конечно, могла заметно подтянуть весь график вверх или спустить вниз, но, как правило, не ломала характер зависимости, если выбросов немного и они умеренные.
Здесь нужно оговориться и заметить, что всё-таки из-за своей квадратичности метод плохо подходит для случаев, когда точки графика выходят за линию тренда неприлично далеко, скажем выступают на величины раз в десять превышающие средний разброс. Тогда лучше прибегать к другим методам построения.
Метод наименьших квадратов является частным и одним из наиболее известных способов аппроксимации данных. Аппроксимация позволяет приблизительно (отсюда и название аппроксимация) объединить все точки графика одной общей линией и тем самым ясно отобразить характер процесса, который кроется за точками.
В общем, способ видеть лес за деревьями.