Исследователи из DeepMind и EPFL выпустили очень интересную статью под названием "Magnetic control of tokamak plasmas through deep reinforcement learning". Она про то, как с помощью RL эффективно управлять катушками в токамаке. Но давайте по порядку:
Ядерный синтез: что это и зачем он нужен
Ядерная реакция — это процесс взаимодействия атомного ядра с другим атомным ядром или элементарной частицей. Реакция часто сопровождется изменением состава и строения ядра. При этом кинетическая энергия получаемых частиц может быть гораздо выше первоначальной, т.е. происходит выделение энергии.
Управляемый термоядерный синтез (УТС) — вид ядерной реакции, при которой из более легких атомных ядер формируются более тяжелые. При этом также происходит выделение энергии. УТС, в отличие от многих видов ядерных реакций, является управляемым: то есть, этот процесс можно использовать в индустрии для синтеза огромного количества энергии. Одна из областей, которая требует такого вида получения энергии — космическая отрасль: кажется, что только с помощью УТС можно получить достаточно энергии для совершения длительных космических полетов.
Реализуют УТС чаще всего с помощью магнитного удержания плазмы, или "магнитной ловушки". Для получения термоядерного синтеза реагирующие ядра должны иметь высокие скорости, соответствующие высокой температуре плазмы. Плазма с такой высокой температурой не может храниться в обычном сосуде, поскольку любой существующий материал моментально испарится при контакте с плазмой.
Магнитная ловушка — один из способов долговременного сохранения плазмы в стабильном состоянии без её контакта с поверхностью ёмкости, в которой она содержится. Для создания магнитной ловушки чаще всего используется торообразный сосуд — токамак (1 картинка к посту).
Проблема:
Хоть УТС и называется "управляемым", на деле управлять этим процессом довольно сложно: сложно добиться его стабильности. Основная проблема — поддержание высокой температуры плазмы внутри сосуда токамака. В токамаке регуляция температуры происходит с помощью катушек, которые создают нужное магнитное поле для стабильности плазмы внутри прибора (2 картинка к посту). Управляет катушками магнитный контроллер. Для разных процессов УТС с разными видами плазмы нужны разные конфигурации магнитного поля катушек — это значит, что для каждого эксперимента нужно проектировать новый контроллер. При этом проектировка даже одного контроллера для одного конкретного вида токамака и плазмы — дело сложное.
При чем же тут RL:
Исследователи из DeepMind и EPFL с помощью RL научили контроллер токамака управлять катушками для стабилизации плазмы. Результаты экспериментов показывают, что контроллер с помощью RL успешно учится управлять катушками так, что плазма остается стабильной. При этом подход получился универсальным: он работает для многих разных конфигураций плазмы. В целом, авторы заявляют, что их подход приведет к заметному сокращению усилий по проектированию для создания новых конфигураций плазмы.
Ну что, скоро полетим открывать новые галактики🤓
#machinelearning #artificialintelligence #ai #datascience #python #programming #technology #deeplearning #coding #bigdata
