Причины недавнего блэкаута в Испании и Португалии до сих пор официально не названы, но среди многочисленных экспертных комментариев по поводу этого ЧП часто встречается мнение о негативном влиянии высокой доли возобновляемых источников энергии (ВИЭ) в энергобалансе этих стран ЕС на устойчивость их энергосистем. Действительно, растущее внедрение ВИЭ в энергосистемы усложняет их эксплуатацию в силу нестабильной природы ветровой и солнечной генерации. Это потенциально усиливает разрушительное воздействие экстремальных погодных явлений на компоненты энергосистемы, способное, как показал этот случай, привести к отключениям электроэнергии на территории целых стран. Еще значимее эта проблема для микроэнергосистем (микрогридов), в которых запас инерции намного меньше, и чувствительность системных параметров к резким изменениям выработки выше.
В № 6 журнала IEEE Power & Energy (т. 22 за 2024 год) опубликована статья "Искусственный интеллект для повышения устойчивости микрогридов" коллектива авторов (Dawei Qiu, Goran Strbac, Yi Wang Jiawei Wang, Pierre Pinson, Yujian Ye, Vera Silva, Fei Teng), посвященная вопросам применения искусственного интеллекта (ИИ) для обеспечения устойчивости микрогридов, включающих ВИЭ, к разрушительному воздействию экстремальных погодных явлений. Предлагаем вашему вниманию обзор статьи.
Мультимикрогриды и ИИ
Микрогриды, которые представляют собой локализованные маломасштабные энергосистемы с расширенными возможностями управления, являются высокоэффективным решением для интеграции и координации разнообразного спектра распределенных энергоресурсов (DER), предлагая повышенную устойчивость и гибкость по сравнению с традиционными централизованными сетями. В DER обычно включаются дизельные генераторы (DG), ветровые турбины (WT), фотоэлектрические (PV) системы и системы хранения энергии (ESS).
Кроме того, появилась новая категория DER, известная как мобильные источники питания (MPS), такие как мобильные аварийные генераторы (MEG), мобильные системы хранения энергии (MESS), частные электромобили и общественные электробусы, которые легко интегрируются в микрогриды.
В секторе электроснабжения распространяется концепция мультимикрогридов, включающих несколько взаимосвязанных микрогридов, что позволяет им эффективно обмениваться энергетическими ресурсами. Это существенно повышает способность системы обеспечивать непрерывность электроснабжения основных нагрузок даже во время экстремальных событий.
В то же время, разработка систем управления мультимикрогридами сталкивается с двумя проблемами. Первая – сложность разработки децентрализованной структуры для координации систем мультимикрогридов и мобильных источников, которая, с одной сторон, должна максимизировать устойчивость всей сети, с другой минимизировать эксплуатационные расходы и выполнять ряд других требований. Вторая – это необходимость быстрого отклика при внезапных сбоях в работе энергосистемы во время аварий и экстремальных событий.
В свете этих сложностей эффективным решением в разработке децентрализованной структуры управления авторы считают применение искусственного интеллекта (ИИ), принимающего решения на основе данных.
Алгоритмы обучения с подкреплением на основе ИИ
Авторы описывают метод обучения с подкреплением (RL), не требующий построения модели. RL сначала формулирует проблему принятия решений как марковский процесс принятия решений (MDP), а затем решает этот MDP с помощью усовершенствованных алгоритмов RL работы ИИ. В этой обстановке центральный контроллер микрогрида и мобильные источники, рассматриваемые как агенты RL, не требуют каких-либо предварительных знаний об управляемом микрогриде и электрической сети. Вместо этого методы RL изучают оптимальные решения по диспетчеризации в динамическом процессе с помощью опыта, полученного из многочисленных взаимодействий в среде, т. е. изучаемого микрогрида и электросети. Агенты RL могут научиться справляться с неопределенностями и динамикой системы непосредственно из самого набора данных и постепенно строить модель среды, адаптируя свое поведение в соответствии с различными условиями состояния за миллисекунды.
На рисунке 1 показан MDP, в котором есть два взаимодействующих объекта. Они могут получать данные о состоянии как самих агентов, так и внешней среды (оценивать "состояние") и сигналы обратной связи (получать "вознаграждение"), а также обучаться и принимать решения (осуществлять "действие"). К "среде" относится всё, что находится за пределами агентов, и её состояние изменяется за счёт действий агентов. В конечном MDP агенты последовательно выполняют действия, чтобы максимизировать кумулятивное дисконтированное вознаграждение.
Глубокое RL
Для решения сложных задач принятия решений используется глубокое RL (DRL), которое сочетает RL с методами глубокого обучения и управляется универсальными свойствами аппроксимации функций глубоких нейронных сетей. Фундаментальной концепцией в алгоритмах DRL является архитектура "актор – критик". Она объединяет два основных компонента:
- "актор" осуществляет отображение состояний в действия и задается политикой, которая отвечает за выполнение действий;
- "критик", оценивая действия, предпринимаемые актором, представляет функцию значения (Q), которая отвечает за оценку ожидаемых кумулятивных вознаграждений, получаемых агентом от пары "состояние – действие".
Архитектура "актор – критик" позволяет им учиться друг у друга с помощью глубоких нейронных сетей. "Актор" стремится максимизировать ожидаемые кумулятивные вознаграждения и обновляет свою политику, учитывая оценки "критика". "Критик" стремится предоставить точные оценки значений. Он обучается, сравнивая свои прогнозы значений с фактическими вознаграждениями, полученными агентом. Это сравнение генерирует ошибку временной разницы, которая используется для корректировки параметров нейронной сети "критика".
Если агенты однородны и демонстрируют схожее поведение при обучении, их политики могут обучаться с использованием фреймворка совместного использования параметров (PS), что позволяет учитывать опыт всех агентов одновременно.
Пример координации систем мультимикрогрида с использованием ИИ показан на рис. 2. Микрогрид 1 (зеленый) и микрогрид 3 (синий) научились снабжать микрогрид 2 (оранжевый). Микрогрид 1, в первую очередь, полагается на свои собственные ресурсы для самоснабжения. Микрогрид 2 в дополнение к своим собственным ресурсам получает значительное количество электроэнергии как от микрогрида 1, так и от микрогрида 3, особенно в утренние и ночные периоды. Микрогрид 3 в первую очередь полагается на свои собственные ресурсы, но также получает определенный уровень электроэнергии от микрогрида 2, особенно в полдень.
Все основные нагрузки (обозначенные красными линиями) в трех микрогридах получают полное электропитание, в то время как сброс нагрузки (представленный серыми областями) реализуется для неосновных нагрузок в течение двух периодов пикового спроса.
RL может приближаться к оптимальной производительности без предварительного знания о системе и может эффективно справляться с неопределенностями в системе, используя стратегии исследования для активного сбора информации об окружающей среде. При этом RL можно развернуть в реальном времени примерно за 0,5 с, что значительно быстрее скорости адаптации систем управления, основанных на других подходах.
Подробнее читайте в IEEE Power and Energy Magazine, т. 22, № 6 за 2024 год
Подготовлено АНО «Центр «Энерджинет» при поддержке Фонда НТИ и Минобрнауки России
