Несмотря на достижения в области машинного зрения, обработка визуальных данных требует значительных вычислительных ресурсов и энергии, что ограничивает их применение в периферийных устройствах. Теперь исследователи из Японии разработали автономный искусственный синапс, который различает цвета с высоким разрешением в видимом спектре, приближаясь к возможностям человеческого глаза.
Устройство, в котором используются чувствительные к красителям солнечные элементы, вырабатывает собственное электричество и может выполнять сложные логические операции без дополнительных схем, открывая путь для создания эффективных систем компьютерного зрения, интегрированных в повседневные устройства.
По мере развития искусственного интеллекта и интеллектуальных устройств машинное зрение играет всё более важную роль в качестве ключевого элемента современных технологий. К сожалению, несмотря на значительный прогресс, системы машинного зрения по-прежнему сталкиваются с серьёзной проблемой: обработка огромных объёмов визуальных данных, генерируемых каждую секунду, требует значительных энергозатрат, места для хранения и вычислительных ресурсов. Это ограничение затрудняет внедрение возможностей визуального распознавания в периферийных устройствах, таких как смартфоны, дроны или беспилотные автомобили.
Интересно, что зрительная система человека представляет собой убедительную альтернативную модель. В отличие от обычных систем машинного зрения, которые должны улавливать и обрабатывать каждую деталь, наши глаза и мозг выборочно фильтруют информацию, обеспечивая более высокую эффективность обработки визуальной информации при минимальном энергопотреблении. Таким образом, нейроморфные вычисления, имитирующие структуру и функции биологических нейронных систем, стали многообещающим подходом к преодолению существующих проблем в области компьютерного зрения.
Однако сохраняются две основные проблемы. Первое — это распознавание цветов, сравнимое с человеческим зрением, а второе — устранение необходимости во внешних источниках питания для минимизации энергопотребления. На этом фоне исследовательская группа из Школы передовых инженерных технологий, факультета проектирования электронных систем Токийского научного университета, Япония, разработала новаторское решение. Представлен автономный искусственный синапс, способный различать цвета с поразительной точностью.
Исследователи создали своё устройство, объединив две разные солнечные батареи с красителями, которые по-разному реагируют на свет разной длины волны. В отличие от обычных оптоэлектронных искусственных синапсов, которым требуются внешние источники питания, предлагаемый синапс вырабатывает электричество за счёт преобразования солнечной энергии. Эта возможность самостоятельного питания делает его особенно подходящим для периферийных вычислений, где энергоэффективность имеет решающее значение.
Как показали обширные эксперименты, полученная система может различать цвета с разрешением в 10 нанометров в видимом спектре — уровень различения, близкий к человеческому глазу. Более того, устройство также демонстрирует биполярную реакцию, генерируя положительное напряжение при синем свете и отрицательное напряжение при красном свете. Это позволяет выполнять сложные логические операции, для которых обычно требуется несколько обычных устройств. Результаты показывают большой потенциал для применения этого оптоэлектронного устройства нового поколения, которое позволяет одновременно различать цвета с высоким разрешением и выполнять логические операции, в маломощных системах искусственного интеллекта (ИИ) с функцией визуального распознавания.
Чтобы продемонстрировать применение в реальных условиях, команда использовала своё устройство в рамках системы физических вычислений для распознавания различных движений человека, записанных красным, зелёным и синим цветами. Система достигла впечатляющей точности в 82% при классификации 18 различных комбинаций цветов и движений с помощью всего одного устройства, а не нескольких фотодиодов, необходимых в обычных системах.
Результаты этого исследования могут быть применены в различных отраслях. В автономных транспортных средствах эти устройства могут обеспечить более эффективное распознавание светофоров, дорожных знаков и препятствий. В здравоохранении они могут использоваться в носимых устройствах, которые отслеживают жизненно важные показатели, такие как уровень кислорода в крови, с минимальным расходом заряда батареи. В потребительской электронике эта технология может привести к созданию смартфонов и гарнитур дополненной/виртуальной реальности с значительно увеличенным временем автономной работы при сохранении сложных возможностей визуального распознавания.
Разработчики считают, что эта технология будет способствовать созданию маломощных систем машинного зрения с возможностями цветовосприятия, близкими к возможностям человеческого глаза, которые можно будет использовать в оптических датчиках для беспилотных автомобилей, маломощных биометрических датчиках для медицинского применения и портативных устройствах распознавания.
В целом, эта работа представляет собой значительный шаг на пути к внедрению возможностей компьютерного зрения в периферийные устройства, что позволит нашим повседневным устройствам видеть мир так же, как видим его мы.