🏸Что такое мульти-задачное машинное обучение?

Обычно одна ML-модель решает одну задачу, например, классификация изображений или синтез текста. Это называется однозадачное обучение (STL, single-task learning). Но некоторые модели позволяют делать несколько видов прогнозов на одной выборке, например, классификация изображений и семантическая сегментация. Это уже многозадачное обучение (MTL, Multi-task learning). Основными плюсами MTL являются следующие:

• меньший объем обучающей выборки для каждой из отдельных задач за счет укрупнения общего набора данных;

• улучшенное обобщение модели – информация из связанных задач повышает способность модели извлекать полезные данные из датасета и снижает переобучение;

• сокращение длительности обучения – вместо того, чтобы тратить время на обучение множества моделей для решения нескольких задач, обучается единая модель;

•  снижение требований к аппаратным ресурсами - ML-модели имеют много параметров, которые необходимо хранить в оперативной памяти. Поэтому для устройств с ограниченной вычислительной мощностью, IoT, лучше иметь одну MTL с некоторыми общими параметрами, а не несколько STL-моделей, которые выполняют ряд связанных задач.

Обратной стороной этих достоинств является снижение производительности. Во время MTL-обучения задачи могут конкурировать друг с другом. Например, когда сегментация экземпляра (сегментирование отдельной маски для каждого отдельного объекта в изображении) обучается вместе с семантической сегментацией (классификация объектов на уровне пикселей), последняя задача часто доминирует, если не использовать механизм балансировки задач.

Кроме того, функция потерь MTL сложнее в результате суммирования отдельных потерь, что затрудняет оптимизацию. Здесь возникает так называемый эффект отрицательной передачи при выполнении нескольких задач и отдельные STL-модели могут работать лучше единой MTL.

В перспективе многозадачное машинное обучение отлично подходит для обработки естественного языка и медицинских исследований, однако сегодняшняя реализация этого подхода еще не полностью покрывает его текущие недостатки.

https://thegradient.pub/how-to-do-multi-task-learning-intelligently/