AdaBoost (Adaptive Boosting) – классифицирующая Модель (Model), которая объединяет несколько слабых классификаторов для повышения точности. Является Ансамблем (Ensemble). Алгоритм предложен Йоавом Фройндом (Yoav Freund) и Робертом Шапире (Robert Schapire) в 1996 году. Комбинируя несколько неэффективных классификаторов, мы получаем сильный классификатор высокой точности. Основная концепция заключается в установке весов классификаторов и обучении выборки данных на каждой итерации, чтобы обеспечить точные предсказания необычных наблюдений...

Градиентный бустинг – эффективный алгоритм преобразования относительно плохих гипотез Моделей (Model) в очень хорошие. Происхождение Идея бустинга (усиления) базируется на допущении, что изменить слабый предсказывающий алгоритм возможно. Слабый алгоритм определяется как гипотеза, чьи результаты немного лучше, чем случайные. Идея усиления заключалась в том, чтобы фильтровать Наблюдения (Observation), оставляя те из них, с которыми может справиться слабый алгоритм, и сосредотачиваясь на развитии новых способностей, чтобы справиться с оставшимися трудными наблюдениями...