Если вы когда-либо углублялись в изучение технологий фотокамер, то знаете, что их принцип работы основан на строении человеческого глаза. Технологии обработки изображений, которые мы используем, во многом похожи на то, как видит мир человек.
Однако у человеческого глаза есть дополнительные особенности, которые могут значительно улучшить процесс получения изображений. Группа исследователей под руководством сотрудников Колледжа компьютерных, математических и естественных наук Университета Мэриленда внедрили «микросаккады» в новейший механизм камеры. Эта камера получила название «Камера событий с усилением искусственными микросаккадами (AMI-EV)».
Применение этой технологии может улучшить не только процесс захвата изображений смартфонами и роботами, но и многое другое. Результаты исследования были опубликованы в научной статье «Событийная камера в стиле микросаккад для робототехники», которая вышла в журнале Science Robotics, том 9, выпуск 90.
Микродвижения - залог победы!
Давайте начнём с того, что разберёмся, что такое микросаккады. Это свойство человеческого глаза лежит в основе данной инновации.
Проще говоря, микросаккады — это непроизвольные движения глаз, которые помогают нам фокусироваться на неподвижном объекте.
Более точное определение микросаккад можно найти в научной статье под названием «Микросаккады: нейрофизиологический анализ», опубликованной в 2009 году. В этой статье исследователи описывают микросаккады как «самые крупные и быстрые из фиксирующих движений глаз, которые представляют собой непроизвольные движения глаз, производимые при попытке визуальной фиксации».
Когда исследователи из Университета Мэриленда начали свою работу, их целью было создать модуль камеры, который мог бы снимать чёткие изображения без размытия при движении, которое обычно наблюдается в современных камерах.
«Event-камеры — это относительно новая технология, которая лучше отслеживает движущиеся объекты, чем традиционные камеры, но сегодняшним event-камерам сложно получать чёткие изображения без размытия, когда задействовано много движения», — рассказал ведущий автор статьи Ботао Хе, аспирант кафедры компьютерных наук UMD. Он объяснил, почему существующие камеры имеют свои ограничения.
На протяжении многих лет исследователи по всему миру пытались усовершенствовать технологию цифровой обработки изображений, делая её всё более похожей на работу человеческого глаза. Мы видели, как несколько технологий, таких как сдвиг сенсора, оптическая стабилизация изображения (OIS) и электронная стабилизация изображения (EIS), внедряются в камеры по всему миру. Дополнительные технологии, такие как карданные подвесы, также пытаются решить проблему размытых изображений и видео.
Однако, несмотря на все усилия брендов по развитию своих технологий, существуют ограничения, которые не позволяют им создавать абсолютно чёткие изображения, подобные человеческому глазу. Но AMI-EV, похоже, является решением этой проблемы!
Как работает AMI-EV?
Основной принцип разработки был простым: добавить слой, который стабилизирует изображение и собирает информацию для дальнейшей обработки. Это позволило бы создавать чёткие изображения.
Для достижения этой цели исследователи установили вращающуюся клиновидную призму прямо перед объективом камеры для событий. Это гарантировало перенаправление светового потока и, как следствие, запуск событий.
Для тех, кто не знаком с event-камерами, поясним: это специализированный набор камер с индивидуально работающими пикселями. Они фиксируют данные об освещённости, реагируют на изменения и сообщают о них в режиме реального времени. Эти камеры также называют нейроморфными камерами, силиконовыми сетчатками или датчиками динамического зрения.
Как только они разобрались с механикой призмы и установили аппаратное обеспечение, следующей задачей стало создание программного обеспечения, способного обрабатывать эти данные. И с этой задачей они также успешно справились.
Основная цель программного обеспечения, как отмечено в статье UMD об этом нововведении, заключалась в том, чтобы «компенсировать движение призмы в AMI-EV для получения стабильных изображений при изменяющемся освещении».
После этого исследователи смогли зафиксировать и точно отобразить движение в различных ситуациях. Это включало определение пульса человека и распознавание формы быстро движущихся объектов.
Самым удивительным было количество кадров, которое удалось сделать камере AMI-EV. Как указано в исследовательской статье, камера способна делать десятки тысяч кадров в секунду, что значительно превосходит возможности камер, доступных на рынке сегодня, которые могут снимать от 30 до 1000 кадров в секунду.
Куда ведут дороги?
У технологии AMI-EV есть потенциал для применения в различных областях, помимо смартфонов и робототехники. Исследователи возлагают большие надежды на то, что эта новая технология обработки изображений позволит совершить прорыв в создании интеллектуальных носимых устройств.
Корнелия Фермюллер, старший автор статьи, комментирует: «Благодаря своим уникальным функциям, датчики событий и AMI-EV готовы занять центральное место в сфере интеллектуальных носимых устройств». Она добавляет: «Они обладают явными преимуществами перед классическими камерами, такими как превосходная производительность в экстремальных условиях освещения, низкая задержка и низкое энергопотребление». Эти функции идеально подходят для приложений виртуальной реальности, где необходимы плавное взаимодействие и быстрые вычисления движений головы и тела.
Также было заявлено, что AMI-EV может найти применение в автомобилях с автономным управлением, обеспечивая гораздо более эффективное и быстрое распознавание объектов на дороге. Для смартфонов заявленная энергоэффективность механизма в сочетании с его возможностями снимать более чёткие видео и фотографии, а также улучшенные характеристики в условиях низкой освещённости могут сделать AMI-EV перспективным направлением, которое производители определённо рассмотрят во всём мире. Кроме того, эта технология может улучшить качество изображения с точки зрения безопасности и усовершенствовать способы, которыми астрономы делают снимки в космосе.
Возможности этой технологии огромны, и у AMI-EV есть потенциал. Теперь исследователям по всему миру необходимо глубже изучить её и поэкспериментировать с различными приложениями, чтобы убедиться, что она улучшает способ захвата визуальной информации.
