Как узнать неизвестную стоимость квартиры или спрогнозировать расход электроэнергии в населенном пункте? Использовать модель машинного обучения, скажете вы.. Но зачастую ваша крутая модель не сработает на части примеров ввиду отсутствия достаточного количества признаков для них.
Конечно можно построить еще одну, но целесообразно ли это? Не лучше пойти другим путем и распространить влияние текущей модели на новые объекты, используя признаки их сходства с соседями.
Напишем класс KnnNeighbors, который делает это, под капотом проводя кодирование категориальных признаков и стандартизацию числовых и используя класс NearestNeighbors из пакета scikit-learn для поиска ближайших точек. Принцип его применения следующий - сначала он настраивается на признаках общих для точек, с которыми основная модель справляется и "проблемных". Затем вычисляется метрика по основной модели и впоследствии распространяется на "проблемные точки", используя класс KnnNeighbors.
Полный код класса представлен ниже:
Данные, с которыми будем работать для демонстрации имеют следующий вид:
Теперь разберем методы по порядку. Конструктору задаем названия столбцов с идентификатором объектов и категориальными и числовыми признаками. Методы fit и transform отвечают за настройку и преобразование данных (ранее писал, как и почему необходимо преобразовывать категориальные и числовые признаки):
Убедимся в корректности стандартизации, сравнив внутреннее состояние объекта StandardScaler класса (имя sc) и выполнив ручную стандартизацию:
Аналогично убедимся в корректности настройки энкодера (enc) путем вывода всех категорий данных и просмотра атрибутов, а также вывода значения для произвольной категории (сравните выводы для записи с индексом 13910):
Зададим новые записи и выведем их соседей, используя метод kneighbours (ранее подробно писал об этом):
Проверим, что свойства соседей действительно похожи на заданный объект под номером 4:
Метод нашего класса k_objs_near делает аналогичную работу, но выводит не индексы похожих соседей, а их id-шники:
Теперь заполним данные метрикой и распространим ее на новые значение (среднее по всем соседям):
Вычислим вручную метрику для произвольного объекта (4) вручную и сравним с полученным значением: