Теория ML

Кластеризация относится к обучению без учителя. Бывает: hard - объект принадлежит ровно одному кластеру, soft - объект принадлежит кластерам с некоторой вероятностью или степенью принадлежности. Кластеризация не является методом снижения размерности, ее можно использовать как промежуточный шаг для получения дополнительных признаков, но для снижения размерности обычно PCA, t-SNE, UMAP, автоэнкодеры и т.п. Метрики качества кластеризации: K-Means: K-means - центроидная модель, число кластеров К задается заранее...

Последовательность градиентного спуска: SGD (стохастический градиентный спуск) - идем строго в сторону антиградиента с постоянным learning rate. Чувствителен к выбору шага, если овраг или изгиб функции, будет долго блуждать зигзагами. SGD + momentum (инерция) - добавляет физику, то есть копит градиенты как скорость (если несколько шагов подряд двигались в одну сторону, разгоняемся), что помогает проскакивать локальные ямы и быстро лететь по пологим участкам, сглаживая зигзаги. AdaGrad (адаптивный шаг для каждого веса) - для редких признаков делаем шаг побольше, для частых - поменьше...

На каждом узле выбирается один признак и его порог, которые сильнее всего уменьшают примесь (ошибку). На основе этого условия данные разделяются на группы, после чего процесс рекурсивно повторяется в дочерних узлах до заданных ограничений. Лист содержит предсказание (класс или числовое значение), а новый проходит по условиям от корня до листа, значение которого и является ответом. Для задачи классификации лучшее разбиение выбирается по уменьшению Gini или Энтропии Шеннона, то есть чем меньше примесь (неопределенность) после разбиения, тем лучше split...

Линейная регрессия (Linear Regression) - это модель, которая предсказывает целевую переменную как скалярное произведение признаков на вектор весов с добавлением bias, при этом она линейна по параметрам (признаки могут быть преобразованы нелинейно log x, sin x), обычно оптимизируется через градиентный спуск или аналитически, использует функции потерь - MSE, MAE или Huber Loss, имеет относительно высокий bias и низкий variance, а нормализация признаков особенно важна при использовании регуляризации...