Модель DCdetector для обнаружения аномалий в глубоких нейронных сетях, принятая на конференции KDD 2023, привлекла внимание исследователей, однако ее результаты местами вызывают больше вопросов, чем ответов.
Отрицательные результаты
Один из исследователей, протестировавший оригинальный код модели, отметила отсутствие логов потерь, что может вызвать сомнения в надежности результатов. После добавления собственного логирования, были выявлены интересные, но подозрительные данные. Например, в ходе обучения показатели потерь оставались на одинаковом уровне без каких-либо значительных изменений.
Проблемные показатели потерь
При тестировании модели, скорости обучения колебались на уровне около 0,34 – 0,69 секунд за итерацию. Потери при обучении показывали уровень от 17 до 21,6, что говорит о нестабильности работы модели. За несколько эпох логические значения потерь оставались в диапазоне от 0 до NaN, что намекает на существующие алгоритмические проблемы.
Резюме: отсутствие логов потерь на первой итерации, поступление неопределённого значения NaN на второй, указывает на возможные недостатки в алгоритмах, что делает применение этой модели для реальных задач всё более проблематичным.
Что это значит для разработчиков
Создателям решений по обнаружению аномалий стоит учитывать результаты тестирования модели DCdetector, чтобы минимизировать возможные ошибки в надёжности данных. В настоящее время доступные альтернативы, такие как Isolation Forest и LSTM для анализа временных рядов, могут предложить более стабильные результаты.
Анализировать и адаптировать более старые, но проверенные модели имеет смысл, хотя и требует времени и ресурсов. Велика вероятность, что в дальнейших исследованиях DCdetector необходимо будет исправить дефекты и повысить надежность для коммерческого использования.
The post Модель DCdetector для обнаружения аномалий имеет проблемные результаты appeared first on iTech News.