Несмотря на достижения в машинном зрении, обработка визуальных данных требует значительных вычислительных ресурсов и энергии, что ограничивает его использование в периферийных устройствах. Учёные из Японии разработали искусственный синапс с собственным питанием, который распознаёт цвета в высоком разрешении по всему видимому спектру, достигая возможностей человеческого глаза. Это устройство, в котором интегрированы сенсибилизируемые пигментами солнечные фотоэлементы, само генерирует электричество и может выполнять сложные логические операции без дополнительных микросхем, прокладывая дорогу более мощным системам компьютерного зрения, интегрированным в устройства для повседневного использования.
С ходом развития искусственного интеллекта и умных устройств, машинное зрение берёт на себя всё более ключевую роль в качестве основного фактора современных технологий. К сожалению, несмотря на огромный прогресс, системы машинного зрения до сих пор сталкиваются с серьёзной проблемой: обработка огромных количеств визуальных данных, генерируемых каждую секунду, требует немало энергии, места для хранения и вычислительных ресурсов. Из-за этого ограничения сложно использовать возможности визуального распознавания в периферийных устройствах, таких как смартфоны, дроны и автономные транспортные средства.
Интересно, что визуальная система человека даёт привлекательную альтернативную модель. В отличие от типичных систем машинного зрения, которым приходится запечатлевать и обрабатывать каждую мелочь, наши глаза и мозг выборочно отфильтровывают информацию, обеспечивая более высокую производительность визуальной обработки, при этом потребляя минимум энергии. Таким образом появились нейроморфные вычисления, имитирующие структуру и функционирование биологических нейронных систем, как перспективный подход к преодолению имеющихся затруднений в компьютерном зрении. Однако, оставалось две серьёзных проблемы. Первая — это достижение распознавания цветов, сопоставимое со зрением человека, а вторая — устранение необходимости во внешнем источнике питания для минимизации расхода энергии.
На этом фоне исследовательская группа под управлением профессора Такаши Икуно из Школы передового инжиниринга Токийского университета науки (ТУН) разработала революционное решение. Их статья, опубликованная в 15 выпуске журнала Scientific Reports 12 мая 2025 года, рассказывает об искусственном синапсе с собственным питанием, способным распознавать цвета с удивительной точностью. Соавторами исследования были Хирокари Коматсу и Норика Носода, также из ТУН.
Исследователи создали своё устройство, интегрировав два различных сенсибилизируемых пигментом солнечных фотоэлемента, по-разному реагирующих на разные длины волн света. В отличие от традиционных оптоэлекторных искусственных синапсов, требующих внешнего источника питания, предлагаемый ими синапс генерирует электричество путём преобразования солнечной энергии. Эта возможность самоподпитки делает его особенно удобным для периферийных вычислительных приложений, где энергоэффективность имеет ключевое значение.
Как свидетельствуют результаты длительных экспериментов, получившаяся система может распознавать цвета с разрешением в 10 нанометров по видимому спектру — такой уровень распознавания достигает возможности человеческого глаза. Более того, это устройство также продемонстрировало биполярную реакцию, вырабатывая положительное напряжение при синем свете и отрицательное — при красном. Это даёт возможность выполнять сложные логические операции, для которых в обычных условиях потребовалось бы несколько стандартных устройств. «Эти результаты показывают огромный потенциал применения этого оптоэлектронного устройства следующего поколения, одновременно позволяющего различать цвета с высоким разрешением и производить логические операции, для систем искусственного интеллекта малой мощности с визуальным распознаванием», — отмечает д-р Икуно.
Чтобы продемонстрировать применение в реальных условиях, учёные использовали своё устройство в вычислительной сети физического хранения для распознавания различных движений человека, записанных в красном, зелёном и синем цвете. Система выдала превосходную точность в 82% при систематизации 18 различных комбинаций цветов и движений, при использовании всего одно устройства вместо множества фотодиодов, необходимых в традиционных системах.
Значимость данного исследования неоценима для множества отраслей. В автономных транспортных средствах эти устройства могут помочь с более эффективным распознаванием светофоров, дорожных знаков и препятствий. В медицине они могут подпитывать носимые устройства, отслеживающие жизненно важные факторы, вроде уровня сахара в крови, с минимальным расходом батарей. В электронике для широкого использования эта технология может привести к появлению смартфонов и гарнитур расширенной/виртуальной реальности с существенно повышенным сроком службы батарей и одновременной поддержкой визуального распознавания высокой сложности. «Мы полагаем, эта технология внесёт свою лепту в реализацию маломощных систем машинного зрения с возможностью распознавания цветов на уровне почти как у человеческого глаза, с применением в оптических сенсорах беспилотных автомобилей, маломощных биометрических сенсорах для медицинского применения и переносных распознающих устройствах», — отмечает д-р Икуно.
В целом, эта работа представляет собой значительный шаг в направлении перенесения чудес компьютерного зрения на периферийные устройства, чтобы наши повседневные устройства смогли видеть мир так, как видим его мы.
Перевод — Андрей Прокипчук, «XX2 ВЕК». Источники.
Материалы предоставлены Токийским университетом науки (Tokyo University of Science).
Вам также может быть интересно: