Новые самообучающиеся машины на основе физики могут заменить существующие искусственные нейронные сети и сэкономить энергию

Обучение со светом: так может выглядеть динамика световой волны, используемой внутри физической самообучающейся машины.Решающими являются как ее нерегулярная форма, так и то, что ее развитие точно обращается со времени ее наибольшего распространения (красный). Источник: Флориан Марквардт, MPL

Введение

Искусственный интеллект не только обеспечивает впечатляющую производительность, но и создает значительный спрос на энергию. Чем сложнее задачи, для которых он обучен, тем больше энергии он потребляет. Например, для обучения модели GPT-3 потребовалось около 1000 мегаватт-часов энергии. Это мотивирует исследователей искать новые подходы к обучению ИИ, которые были бы более энергоэффективными.

Нейроморфные вычисления

В последние годы исследуются нейроморфные вычисления - подход, основанный на физических, а не цифровых процессах. В отличие от традиционных нейронных сетей, где аппаратное и программное обеспечение разделены, в нейроморфных системах компоненты выполняют одновременно функции и памяти, и процессора. Это позволяет добиться большей энергоэффективности по сравнению с цифровыми вычислениями.

Искусственный интеллект как слияние пинбола и абакуса: в этом мысленном эксперименте синий положительно заряженный пинбол обозначает набор обучающих данных. Шарик запускается с одной стороны пластины на другую. Credit: Florian Marquardt, MPL

Самообучающаяся физическая машина

Ученые из Института Макса Планка предложили концепцию самообучающейся физической машины для нейроморфных вычислений. Обучение происходит в виде физического процесса, в ходе которого параметры системы оптимизируются самим этим процессом, без необходимости внешней обратной связи. Это позволяет сделать обучение более эффективным.

Условия для физического процесса

Чтобы реализовать предложенный подход, физический процесс в машине должен удовлетворять нескольким условиям:

- Быть обратимым, то есть протекать с минимальными потерями в обоих направлениях

- Быть нелинейным и достаточно сложным

В качестве примера таких процессов рассматриваются оптические системы, использующие свет для вычислений.

Перспективы

Разработчики надеются создать работающую самообучающуюся оптическую машину в течение трех лет. Подобные системы могут найти применение для более энергоэффективного обучения нейронных сетей в перспективных приложениях ИИ.

📝 DOI: 10.1103/PhysRevX.13.031020

🧬Интересное в науке. Telegram🧬

#ИИ #машинноеобучение #нейроморфныевычисления #оптика #самообучение #энергоэффективность