Команда исследователей из Юго-Восточного университета в Китае разработала микрокамеру с микролинзами, использовала многомасштабную сверточную нейронную сеть для улучшения разрешения, контрастности и устранения искажений на изображениях, снятых разработанной ими крошечной камерой. Камера, размером приблизительно 3 см × 3 см × 0,5 см, непосредственно интегрирует металлический датчик в комплементарный металл-оксид-полупроводниковый (CMOS) чип для формирования изображений. По мнению команды исследователей, такой подход может значительно повысить разрешение, контрастность и уменьшить уровень искажений изображения, что приведет к существенному улучшению общего качества изображения.
Металинзы - это невероятно тонкие оптические устройства, которые управляют светом с помощью наноструктур; зачастую их толщина составляет всего несколько атомов. Несмотря на то, что их крошечные размеры позволяют создавать невероятно легкие и компактные камеры без использования обычных оптических линз, добиться требуемого качества изображения с помощью этих оптических элементов оказалось сложной задачей. Чтобы решить эти проблемы, команда Юго-Восточного университета в Китае разработала метод получения высококачественных изображений с глубоким машинным обучением. Камера, использованная в этом исследовании, была разработана исследователями ранее, и в ней используется металинза с цилиндрическими наностержнями из нитрида кремния высотой 1000 нм. Без дополнительных оптических компонентов металинза фокусирует свет непосредственно на CMOS-матрице изображения.
Несмотря на то, что камера получилась очень маленькой, исследователи решили изучить, можно ли использовать машинное обучение для улучшения качества изображений.
Исследователи сообщают, что они применили глубокое обучение, используя искусственные нейронные сети с несколькими уровнями, а также сверточную модель визуализации для получения большого набора данных из парных изображений высокого и низкого качества. “Ключевой частью этой работы была разработка способа генерации большого объема обучающих данных, необходимых для процесса обучения нейронной сети. После обучения изображение низкого качества может быть отправлено с устройства в нейронную сеть для обработки, и сразу же будут получены высококачественные результаты визуализации”, - сказал Цзи Чен из Юго-Восточного университета в Китае, руководитель исследования.
В исследовании говорится: “Благодаря нашему методу были улучшены разрешение изображения, контрастность, что привело к заметному общему качеству изображения с показателем индекса структурного сходства (SSIM) более 0,9 и улучшению пикового отношения сигнал/шум (PSNR) более чем на 3 dB”. В настоящее время исследователи сосредоточены на разработке металинз с расширенными функциональными возможностями, такими как цветная и широкоугольная визуализация. Они также разрабатывают методы нейронной сети для повышения качества изображения этих сложных металинз. Команда подчеркивает, что для того, чтобы эта технология стала пригодной для коммерческого использования, потребуются новые технологии сборки для интеграции металинз в модули камер смартфонов, а также программное обеспечение для улучшения качества изображения, разработанное специально для мобильных устройств. “Использование методов глубокого обучения для оптимизации производительности металинз является ключевым направлением развития. Мы считаем машинное обучение важным направлением в развитии исследований в области фотоники”, - сказал Чен.
Подробности исследования команды были опубликованы в журнале Optics Letters. Как указывается в опубликованном отчете, благодаря своей сверхлегкой, ультратонкой и гибкой конструкции металинзы обладают значительным потенциалом в разработке высокоинтегрированных камер. Благодаря использованному методу были улучшены многие показатели изображения, осуществленный подход позволил камерам сочетать преимущества высокой степени интеграции с улучшенными характеристиками обработки изображений, раскрывая огромный потенциал для будущих революционных технологий обработки изображений.