Учёные из ВМК МГУ нашли новый способ улучшения управления трафиком в сложных сетях с помощью многоагентного обучения. Новая методика позволяет эффективнее распределять данные, избегая перегрузок и сокращая задержки. Об этом «Жуковский.Life» рассказали в пресс-службе университета.
С каждым годом объёмы данных в сетях растут, и это требует более продвинутых решений для маршрутизации и распределения нагрузки. В современных сетях, таких как Network Power by Computing (NPC), требуется интеллектуальное управление для оптимальной работы.
Этот метод основан на многоагентном обучении с подкреплением. В отличие от традиционных подходов, он использует распределённую модель, где агенты принимают решения на местном уровне и общаются друг с другом. Это помогает быстро адаптироваться к изменениям в сети и снижать задержки.
Исследователи описали задачу как распределённый частично наблюдаемый марковский процесс (Dec-POMDP). Несколько агентов управляют потоками данных в своих сегментах, обмениваясь информацией для оптимальной маршрутизации.
Они предложили три подхода: централизованный, децентрализованный с взаимодействием и полностью децентрализованный. В централизованном подходе все агенты подчиняются одному центру, что увеличивает задержки из-за необходимости сбора информации. Децентрализованный подход с обменом данными между агентами позволяет каждому принимать оптимальные решения. Полностью децентрализованный подход предполагает независимые решения на основе истории каждого агента.
Метод Multi-Agent Routing using Hashing (MAROH) объединяет децентрализованное обучение и консистентное хеширование. Вес порта маршрутизатора используется для распределения трафика, что позволяет равномерно распределять нагрузку и избегать перегрузок.
Экспериментальные данные показывают, что MAROH превосходит традиционные алгоритмы, такие как ECMP и UCMP, и сопоставим с централизованными генетическими алгоритмами, обеспечивая лучшую стабильность при высокой нагрузке.
Исследование также выявило, что для достижения стабильных результатов требуется от 1500 до 3000 эпизодов, а отклонение нагрузки каналов меньше, чем у традиционных методов.
Этот метод открывает новые возможности для оптимизации работы дата-центров и облачных систем, что особенно важно в условиях увеличивающегося объёма данных и сложных сетевых топологий.
Евгений Степанов, ассистент кафедры вычислительной математики и кибернетики, отметил, что новый подход позволяет эффективно решать задачи балансировки трафика в современных сетях, минимизируя задержки.
В дальнейшем планируется сократить количество служебных сообщений и повысить устойчивость к изменениям нагрузки и топологии с помощью графовых сетей с механизмом внимания.
Ранее сообщалось, что создано ПО, которое поможет в решении задач горных технологий.