Linux и машинное обучение: новая интеграция от IBM

Разработчик Вячеслав Дубейко (dubeyko) из IBM предложил интегрировать модели машинного обучения в ядро Linux, создав универсальную инфраструктуру для взаимодействия подсистем ядра с моделями, работающими в пользовательском пространстве.

Предлагаемая архитектура включает легковесный ML-прокси, который будет предоставлять структурированные данные из ядра и получать рекомендации от моделей машинного обучения. Обучение и выполнение моделей останутся вне ядра, обеспечивая полный контроль над применением рекомендаций.

Для тестирования предложен набор патчей с открытой библиотекой ml-lib, написанной на C и распространяемой под лицензией GNU General Public License v2.0, а также пример символьного драйвера, использующего эту библиотеку.

Интеграция ML-моделей позволит оптимизировать работу ядра, адаптировать его логику к обрабатываемым данным и предсказывать сбои, упрощая подбор эффективной конфигурации для современных рабочих нагрузок.

Разрабатываются инструменты для сбора данных, обучения моделей и тестирования результатов. Для обхода ограничений на использование FPU в ядре предложен прототип прослойки, аналогичной используемой в SPDK, DPDK и ublk.

Вынос выполнения и обучения моделей в пользовательское пространство упрощает сопровождение и изолирует ядро от потенциальных проблем в коде моделей. Взаимодействие между компонентами будет управляться через sysfs, а также предусмотрено адаптивное обучение с оценкой эффективности рекомендаций.