Оптическая свёртка предвещает
новую эру
в области ИИ.
Свёрточные нейронные сети (они же конволюционные ‒ CNN) ‒ один из вариантов архитектуры для реализации процессов глубокого обучения. Они стали популярны благодаря эффективности в распознавании образов, необходимом для компьютерного зрения, виртуальной или дополненной реальности. Демонстрируя в этом деле исключительные возможности, особенно заметное влияние CNN оказали на модели вроде ChatGPT, приводя их ко всё более и более внушительным результатам.
«Суперсила» этого подхода кроется в так называемой свёртке ‒ математической операции объединения двух функций, результатом которой становится третья, демонстрирующая пересечение графиков её «родителей». За счёт этого нейромодель игнорирует лишние для вычисления данные, принимая во внимание лишь существенные акценты ‒ те самые «пересечения функций». Этим облегчается распознавание границ контуров в изображениях и их классификация, что и выливается в будто бы интеллектуальный эффект трактовки изображённых объектов.
Однако при всех своих достоинствах, позволивших свёрточным сетям стать мощным инструментом для обработки визуализаций и других типов данных, эта реализация нейроимитации имеет немало весьма ощутимых недостатков. Многие из них можно было бы решить применением в нейросетях принципов фотоники. Одна из главных парадигм в этих решениях сводится к реализации свёрточной нейроморфной сети на оптических компонентах, славящихся своим быстродействием, поскольку фотоны, в отличие от электронов, не взаимодействуют друг с другом, двигаясь на световых скоростях и позволяя нейросети параллельно выполнять множество операций.
Эти идеи витают в учёных умах ещё с 90-х годов; по ним регулярно выходят исследования. Некоторые методики уже нашли своё аппаратное воплощение, но нерешённые нюансы показывают, что от действительно рабочего решения мы пока далеки. Такое обстоятельство побуждает инженеров отдать фотонам только функции проводника, а саму свёртку оставить за электронами, но и такая комбинация сулит технологии существенные потери в быстродействии из-за многократного увеличения числа преобразований сигналов из оптических в электрические и наоборот.
Свою лепту в эти исследования недавно внесла команда Шанхайского университета науки и технологий (USST), успешно внедрив концепцию CNN в область оптики и реализовав полностью оптическую свёрточную нейросеть (ONN). Как заявляют авторы, этот их достижение обернётся революцией в обработке изображений.
Открытие было опубликовано в журнале Science Advances в статье под названием «Визуализация рассеяния без памяти с помощью сверхбыстрых свёрточных оптических нейронных сетей».
Под руководством профессоров Мин Гу и Цимин Чжан из Школы науки и технологий искусственного интеллекта (SAIST) Шанхайского университета, исследовательская группа добилась эффективного и чёткой визуализации объектов от сверхбыстрой оптической свёртки.
Специалисты пошли непростым путём, построив многоступенчатую свёрточную ONN из множества параллельных оптических ядер, которые ‒ и это самое интересное ‒ умеют извлекать особенности (данные) непосредственно из рассеянного света. Вкупе со сверхскоростными способностями это колоссальный прирост эффективности процесса реконструкции изображения.
Свёрточная ONN состоит из оптического входного слоя, двух свёрточных слоёв и полностью подключённого выходного слоя для выполнения параллельных одноэтапных вычислений со скоростью света. Таким образом, это целиком оптическое устройство не только устраняет громоздкий процесс преобразования сигналов и достигает воистину оптоволоконной скорости вычислений, но и повышает качество получаемых результатов, поскольку его «поле зрения» увеличено в 271 раз. Это прямое следствие возможности обрабатывать исходники со сложным размытием. Кстати, к таким изображениям можно отнести динамические или видеоматериалы. Скорость же вычислений получившейся опто-CNN достигает 1,57 петаопераций в секунду (1,57*1015 POPS), что обеспечивает надёжную поддержку динамической обработки в реальном времени.
Помимо этого, новая парадигма многозадачна: простой подстройкой сетевой структуры, одной и той же свёрточной ONN можно выполнить множество различных задач вроде классификации и реконструкции изображений одновременно. Не без удовольствия авторы отмечают, что такой производительности сфера оптических ИИ ещё не знала.
«Такое сочетание гибкости и эффективности не только подчёркивает важность свёрточных сетей в искусственном интеллекте, но и открывает новые возможности для технологии получения оптических изображений», ‒ заключает профессор Цимин Чжан.
«В ближайшем будущем свёрточные оптические нейронные сети будут играть все более важную роль в автономном вождении, роботизированном зрении и медицинской визуализации», ‒ уверен его коллега, профессор Мин Гу.
По материалам АРМК.