Новый сверхплоский объектив расширяет границы современной оптики, позволяя получать чёткие цветные изображения, которые раньше считались невозможными. Это открытие намекает на то, что в будущем камеры станут легче, компактнее и умнее, чем когда-либо.
Искусственный интеллект и нанотехнологии объединяются в металинзе, которая может соперничать с традиционной оптикой. Это открытие обещает появление более компактных и интеллектуальных систем визуализации.
Камеры прочно вошли в нашу повседневную жизнь. За последние два столетия они превратились из редких изобретений в незаменимые инструменты, используемые в бесчисленном множестве технологий. Сегодня камеры есть в смартфонах, ноутбуках, автомобилях, системах наблюдения, самолётах и спутниках, которые делают снимки Земли с высоты. По мере миниатюризации механических, оптических и электронных компонентов исследователи ищут способы создания камер, которые будут меньше, легче и энергоэффективнее.
Искусственный интеллект и нанотехнологии объединяются в металинзе, которая может соперничать с традиционной оптикой. Это открытие обещает появление более компактных и интеллектуальных систем визуализации.
Камеры прочно вошли в нашу повседневную жизнь. За последние два столетия они превратились из редких изобретений в незаменимые инструменты, используемые в бесчисленном множестве технологий. Сегодня камеры есть в смартфонах, ноутбуках, автомобилях, системах наблюдения, самолётах и спутниках, которые делают снимки Земли с высоты. По мере миниатюризации механических, оптических и электронных компонентов исследователи ищут способы создания камер, которые будут меньше, легче и энергоэффективнее.
Чтобы решить эту проблему, учёные разрабатывают сверхплоскую оптику в качестве альтернативы громоздким объективам большинства камер. В отличие от традиционных изогнутых стеклянных или пластиковых линз, сверхплоская оптика, например металлические линзы, использует для управления светом чрезвычайно тонкий слой наноструктур. Благодаря этим структурам они в сотни и даже тысячи раз меньше и легче стандартных линз.
Однако остаётся одно серьёзное препятствие: визуальное искажение под названием «хроматическая аберрация» ограничивает способность сверхплоской оптики передавать чёткие полноцветные изображения при использовании большой апертуры (отверстия в объективе, через которое проходит свет). Хотя большая апертура пропускает больше света и повышает яркость изображения, это искажение долгое время не позволяло сверхплоским объективам обеспечивать такое же качество изображения, как у обычных камер. На протяжении десятилетий исследователи считали эту проблему неразрешимой.
Прорыв в области плоских линз
В новаторском исследовании, опубликованном в Nature Communications, группа учёных из Вашингтонского университета факультета электротехники и вычислительной техники (UW ECE) и факультета компьютерных наук Принстонского университета продемонстрировала, что сверхплоская оптика с большой апертурой может снимать высококачественные цветные изображения и видео, сравнимые с теми, что получаются с помощью традиционных объективов. Этот результат опровергает давнее предположение о том, что одна металлическая линза с большой апертурой не может создавать чёткие полноцветные изображения.
Исследователи из Вашингтонского университета и Принстонского университета впервые продемонстрировали, что камера с большой апертурой и ультраплоской оптикой может записывать высококачественные цветные изображения и видео, сравнимые с тем, что можно получить с помощью обычного объектива. На изображении выше показано наглядное сравнение стандартного рефракторного объектива с ультраплоской оптикой, разработанной исследовательской группой. Ультраплоская оптика в сотни раз меньше и тоньше. Когда этот металинз заменяет обычный объектив или набор объективов, экономия в объёме, весе и времени автономной работы устройства может быть существенной.
Новая сверхплоская оптика команды представляет собой металлическую линзу толщиной всего в один микрон. При установке на опорную подложку вся конструкция имеет размер всего 300 микрон — примерно столько же, сколько в сумме составляют четыре человеческих волоса. Это в сотни раз тоньше и меньше, чем стандартная преломляющая линза. Замена обычных многолинзовых систем такой металлической линзой может значительно уменьшить размер, вес и энергопотребление устройств обработки изображений.
Потенциальные области применения этой инновации обширны. Металинзу можно интегрировать практически в любой тип камеры, особенно в те, где пространство и вес ограничены. Смартфоны и ноутбуки сразу же получат преимущество, но эту технологию также можно применять в дронах, автомобилях и спутниках, где требуются компактные и эффективные системы визуализации. Медицинские устройства, такие как эндоскопы и ангиоскопы, также могут использовать преимущества линз меньшего размера, что позволит врачам видеть глубже в теле пациента и повысит диагностическую точность.
Сотрудничество, стимулирующее инновации
«Наша работа демонстрирует возможности сверхплоской оптики. Я думаю, что наше исследование продвигает эту область вперёд, и в будущем таких работ будет гораздо больше». — Йоханнес Фрёх, доцент кафедры электротехники и вычислительной техники Вашингтонского университета
Чтобы решить эту проблему, учёные разрабатывают сверхплоскую оптику в качестве альтернативы громоздким объективам большинства камер. В отличие от традиционных изогнутых стеклянных или пластиковых линз, сверхплоская оптика, например металлические линзы, использует для управления светом чрезвычайно тонкий слой наноструктур. Благодаря этим структурам они в сотни и даже тысячи раз меньше и легче стандартных линз.
Однако остаётся одно серьёзное препятствие: визуальное искажение под названием «хроматическая аберрация» ограничивает способность сверхплоской оптики передавать чёткие полноцветные изображения при использовании большой апертуры (отверстия в объективе, через которое проходит свет). Хотя большая апертура пропускает больше света и повышает яркость изображения, это искажение долгое время не позволяло сверхплоским объективам обеспечивать такое же качество изображения, как у обычных камер. На протяжении десятилетий исследователи считали эту проблему неразрешимой.
Прорыв в области плоских линз
В новаторском исследовании, опубликованном в Nature Communications, группа учёных из Вашингтонского университета факультета электротехники и вычислительной техники (UW ECE) и факультета компьютерных наук Принстонского университета продемонстрировала, что сверхплоская оптика с большой апертурой может снимать высококачественные цветные изображения и видео, сравнимые с теми, что получаются с помощью традиционных объективов. Этот результат опровергает давнее предположение о том, что одна металлическая линза с большой апертурой не может создавать чёткие полноцветные изображения.
Исследователи из Вашингтонского университета и Принстонского университета впервые продемонстрировали, что камера с большой апертурой и ультраплоской оптикой может записывать высококачественные цветные изображения и видео, сравнимые с тем, что можно получить с помощью обычного объектива. На изображении выше показано наглядное сравнение стандартного рефракторного объектива с ультраплоской оптикой, разработанной исследовательской группой. Ультраплоская оптика в сотни раз меньше и тоньше. Когда этот металинз заменяет обычный объектив или набор объективов, экономия в объёме, весе и времени автономной работы устройства может быть существенной.
Новая сверхплоская оптика команды представляет собой металлическую линзу толщиной всего в один микрон. При установке на опорную подложку вся конструкция имеет размер всего 300 микрон — примерно столько же, сколько в сумме составляют четыре человеческих волоса. Это в сотни раз тоньше и меньше, чем стандартная преломляющая линза. Замена обычных многолинзовых систем такой металлической линзой может значительно уменьшить размер, вес и энергопотребление устройств обработки изображений.
Потенциальные области применения этой инновации обширны. Металинзу можно интегрировать практически в любой тип камеры, особенно в те, где пространство и вес ограничены. Смартфоны и ноутбуки сразу же получат преимущество, но эту технологию также можно применять в дронах, автомобилях и спутниках, где требуются компактные и эффективные системы визуализации. Медицинские устройства, такие как эндоскопы и ангиоскопы, также могут использовать преимущества линз меньшего размера, что позволит врачам видеть глубже в теле пациента и повысит диагностическую точность.
Сотрудничество, стимулирующее инновации
«Наша работа демонстрирует возможности сверхплоской оптики. Я думаю, что наше исследование продвигает эту область вперёд, и в будущем таких работ будет гораздо больше». — Йоханнес Фрёх, доцент кафедры электротехники и вычислительной техники Вашингтонского университета
Это достижение стало результатом многолетнего сотрудничества между старшими авторами статьи — Аркой Маджумдаром, профессором электротехники и вычислительной техники Вашингтонского университета, который также преподает физику, и Феликсом Хайде, доцентом кафедры компьютерных наук Принстонского университета. Маджумдар, Хайде и их исследовательские группы за последние несколько лет добились значительных успехов в области оптики, таких как уменьшение размера камеры до размера крупинки соли при сохранении четкости и ясности изображения, а также разработка камеры, способной распознавать изображения со скоростью света.
Команда лаборатории Маджумдара также добилась значительных успехов в переосмыслении оптики для камер смартфонов и других устройств. Это последнее исследование стало результатом предыдущей совместной работы под руководством Маджумдара и Хайде, которую возглавлял Итан Ценг, аспирант лаборатории Хайде и соавтор этой статьи.
Ведущими авторами статьи были доцент кафедры электротехники и вычислительной техники Вашингтонского университета Йоханнес Фрёх и Пранит Чакравартила, доцент кафедры компьютерных наук Университета Северной Каролины в Чапел-Хилл. На момент проведения исследования Чакравартила был постдокторантом в лаборатории Хайде в Принстонском университете.
«Раньше считалось, что чем больше металлическая линза, тем меньше цветов можно сфокусировать, — сказал Фрёч. — Но мы пошли дальше и преодолели этот предел».
Ведущие авторы: доцент кафедры электротехники и вычислительной техники Вашингтонского университета Йоханнес Фрёч (слева) и доцент кафедры компьютерных наук Университета Северной Каролины в Чапел-Хилл Пранит Чакравартила (справа)
«Мы рассматривали это как целостную систему, — добавил Чакравартила. — Это позволило нам использовать взаимодополняющие преимущества оптики и вычислительной техники. Мы не проектировали отдельные части системы визуализации по отдельности, а оптимизировали их совместно для достижения максимальной производительности».
Среди других соавторов статьи — выпускники факультета электротехники и вычислительной техники Вашингтонского университета Шейн Колберн, Алан Жан, Форрест Миллер, Анна Вирт-Сингх и Чжэи Хан, а также бывший научный сотрудник факультета электротехники и вычислительной техники Вашингтонского университета Квентин Танги и Джипэн Сан, докторант лаборатории Хайде. Профессор факультета электротехники и вычислительной техники Вашингтонского университета Карл Бёрингер также является соавтором статьи и участвовал в работе, руководя студентами, которые изготовили сверхплоскую оптику в Вашингтонском центре нанопроизводства. Бёрингер — директор Института наноинженерных систем, в котором Маджумдар работает преподавателем.
Вычисления на основе ИИ позволяют получать изображения с высоким разрешением
В большинстве систем визуализации используется несколько преломляющих линз, поскольку одна линза не может сфокусировать все цвета. Эта проблема, связанная с «хроматичностью», усугубляется в сверхплоской оптике. Многие учёные и инженеры даже считают металлогические линзы гиперхроматическими, поскольку они не могут сфокусировать весь свет в одной точке. Это ограничивает возможности сверхплоской оптики по созданию более широких апертур, которые при этом хорошо справлялись бы с визуализацией видимого света.
До этого исследования считалось, что невозможно создать металлические линзы с большой апертурой, которые могли бы давать высококачественное изображение. В большинстве предыдущих работ с металлическими линзами использовалась апертура камеры размером менее одного миллиметра.
Для сравнения: апертура камеры, разработанной исследовательской группой, составляет один сантиметр, что значительно больше. Команда продемонстрировала, что при наличии мощного вычислительного ядра, разработанного совместно с оптическим оборудованием, можно создавать апертуры ещё большего размера.
«Для решения этой проблемы люди использовали чисто физические или эвристические методы, а также оптические конструкции, созданные вручную, но в нашей работе мы рассматриваем её как вычислительную задачу, — сказал Чакравартила. — Мы использовали инструменты искусственного интеллекта, чтобы определить, какой должна быть форма этих линз и какие вычисления необходимо провести».
Вычислительный бэкенд оптической системы команды включал в себя ИИ — вероятностную нейронную сеть на основе диффузии. Этот бэкенд на базе ИИ обрабатывает данные, полученные от сверхплоской оптики, и выводит изображения с меньшей дымкой, более точной цветопередачей, более яркими оттенками и лучшим шумоподавлением. В результате получаются высококачественные цветные изображения, которые практически неотличимы от снимков, сделанных обычной камерой.
«Раньше я всегда рассматривал проблемы с оптической точки зрения, — сказал Фрёч. — Но этот проект показал мне, что если рассматривать систему в целом, а затем пытаться использовать сильные стороны каждой её части — оптики и вычислительного ядра, — то они могут работать сообща, обеспечивая действительно высокое качество изображения, которое мы здесь продемонстрировали».
Работа над ещё более чёткими изображениями, новые возможности
Следующие шаги исследовательской группы включают в себя дальнейшую доработку и улучшение качества изображения, получаемого с помощью ультраплоской оптики. Они также планируют изучить различные возможности разработанной ими оптической системы, которые могут быть полезны для улучшения человеческого зрения. Эти возможности позволяют получать и обрабатывать информацию о свете, который не виден человеческому глазу.
Например, многие животные, такие как бабочки, могут видеть гораздо дальше, чем человек, и получать полезную информацию о различных характеристиках света, таких как его поляризация — ориентация световых волн при их распространении в пространстве. Животные используют эту информацию, чтобы находить пищу, избегать хищников и привлекать партнёров. Точно так же люди могут использовать свет, который они не видят, для мультимодального восприятия поляризации или спектральной информации. Примером этого является система обнаружения света и определения дальности, или ЛиДАР, которая в настоящее время используется в автономных транспортных средствах и смартфонах для поддержки приложений дополненной реальности, виртуальной реальности и восприятия глубины. Исследовательская группа ожидает, что их сверхплоская оптика может быть применима к такого рода технологиям.
Коммерциализация этой ультратонкой оптики также вполне возможна в ближайшем будущем. Металинзы подходят для массового производства на литейных заводах с использованием нанопечатной литографии, что делает оптику доступной и масштабируемой. В настоящее время команда ведёт переговоры с профессором офтальмологического отделения Вашингтонского университета, который заинтересован в создании небольших, лёгких портативных устройств, которые было бы проще использовать для проверки зрения. Фрёч также сказал, что есть стартапы, которые могут быть заинтересованы в коммерциализации этой технологии. Он также отметил, что исследование команды может открыть новые возможности для изучения оптики.
«Я думаю, главный вывод заключается в том, что даже если существуют предполагаемые ограничения для решения определённой проблемы, это не значит, что её невозможно решить, — сказал Фрёх. — Наша работа показывает, на что способна сверхплоская оптика. Я думаю, наше исследование продвигает эту область вперёд, и в будущем таких работ будет гораздо больше».