Найти тему
VK Cloud

Технологический прорыв: обучение нейронных сетей в режиме "турбо"

Оглавление

Даже самая быстрая электроника зачастую пасует при решении ряда специфических задач для обучения нейронных сетей, хотя с искусственным интеллектом сегодня связывают перспективы буквально всех отраслей. Исследователи предлагают использовать пространственное распараллеливание света. Тогда процесс обучения ускоряется на порядки.

Комплексная оптимизация как ключ к нейронным сетям

Комплексные вычислительные задачи оптимизации, востребованные, в том числе, в алгоритмах машинного обучения, позволяют определить взаимодействие многочисленных малых компонентов в единой среде. Проблема заключается в том, что большое количество внутренних состояний, характерное для таких задач, увеличивает число неопределенных состояний в геометрической прогрессии.

Традиционные компьютерные архитектуры обрабатывают такие пространственные задачи чрезвычайно неэффективно – путем последовательного расчета каждого состояния, или, в лучшем случае, небольших блоков. В случае небольших массивов данных что-то действительно удается просчитать с приемлемыми затратами времени и энергии, но как только заходит разговор о масштабировании процесса, эффективность таких вычислений падает до удручающего уровня.

Сегодня для ускорения подобных вычислений пытаются применять различные акселераторы, сопроцессоры и специализированные «процессоры для нейронных сетей». К сожалению, далеко не всегда они способны обеспечить значительный прирост эффективности.

Фотоника вместо кремния

Итальянским ученым-физикам удалось существенно ускорить вычисления с большим числом внутренних состояний благодаря разработанной ими технологии пространственного распараллеливания светового потока.

Источники света сходятся после пространственного модулятора в единый луч

Источник: Robert Horn, Argonne National Laboratory
Источник: Robert Horn, Argonne National Laboratory

По словам ученых, созданная ими опытная установка не только эффективно распараллеливает сложные задачи глобальной оптимизации, но также производит вычисления в сроки, рекордно короткие по сравнению с традиционной вычислительной электроникой. Более того, техника пространственной модуляции способна решать задачи, где традиционная электроника практически бессильна.

Перспективы

Иными словами, для решения задач крупных масштабов так или иначе придется задействовать очень качественный детектор и гигантский пространственный модулятор света.

Как раз эта задача – не проблема для современного производства. В случае, если ученые смогут превратить свое изобретение из лабораторного эксперимента в коммерческий проект, на рынке решений для глубокого машинного обучения могут появится световые параллельные вычислительные системы.

В перспективе такие разработки также могут стать основной для специализированных световых сопроцессоров, которые будут встраиваться в традиционные вычислительные системы для ускорения специфических задач, например для ускоренного обучения нейронных сетей.

Полная версия статьи: https://mcs.mail.ru/blog/technologicheskiy-proryv-opticheskie/