10,3 тыс подписчиков

Alibi Detect Контекстно-зависимое обнаружение выбросов в наборах данных

18 марта 202218 мар 2022

2 мин

Alibi Detect — это библиотека Python с открытым исходным кодом, ориентированная на обнаружение различных выбросов в наборах данных. Для обнаружения выбросов поддерживаются TensorFlow и PyTorch.

Документация

Для получения дополнительной информации о важности мониторинга выбросов в наборах данных и неравномерных распределений данных в производственной среде ознакомьтесь с этим докладом на семинаре «Проблемы развертывания и мониторинга систем машинного обучения» ICML 2022, основанным на статье «Мониторинг и объяснимость моделей в производственной среде» со ссылкой на Alibi Detect.

Подробное введение в обнаружение дрейфа см. в статье Защита вашего машинного обучения от дрейфа: введение. В докладе рассказывается о том, что такое дрейф и почему стоит его обнаруживать, о различных типах дрейфа, о том, как его можно обнаружить принципиальным образом, а также описывается устройство детектора дрейфа.

pip

alibi-detect can мождет быть установлен через PyPI

pip install alibi-detect

или

pip install git+https://github.com/SeldonIO/alibi-detect.git

для установки с PyTorch (pip install alibi-detect[torch]
чтобы ищспользовать Prophet :

pip install alibi-detect[prophet]

Мы будем использовать детектор выбросов VAE, чтобы проиллюстрировать работу API.

from alibi_detect.od import OutlierVAE from alibi_detect.utils import save_detector, load_detector
# initialize and fit detector od = OutlierVAE(threshold=0.1, encoder_net=encoder_net, decoder_net=decoder_net, latent_dim=1024)
od.fit(x_train)

# make predictions preds = od.predict(x_test)

# save and load detectors filepath = './my_detector/' save_detector(od, filepath)
od = load_detector(filepath)

Предсказания возвращаются в словарь с ключами meta и data. meta содержит метаданные модели, а данные сами по себе являются словарем с фактическими прогнозами. Словарь содержит выбросы, состязательные и пороговые значения, а также прогнозы, например, являются ли данные выбросами или нет. Точные детали могут незначительно отличаться от метода к методу, поэтому мы рекомендуем читателю ознакомиться с типами поддерживаемых алгоритмов: https://docs.seldon.io/projects/alibi-detect/en/latest/overview/algorithms.html