Новый метод, называемый тензорной голографией, может позволить создавать голограммы для виртуальной реальности, 3D-печати, медицинской визуализации и многого другого — и он может работать на смартфоне.
Несмотря на шумиху последних лет, шлемы виртуальной реальности еще не одержали победу над экраном телевизора или компьютера в качестве устройств для просмотра видео. Одна из причин: VR может привести к ухудшению самочувствия и даже травмам.
Тошнота и напряжение глаз могут возникнуть потому что VR создает иллюзию 3D-просмотра, хотя пользователь на самом деле смотрит на 2D-дисплей с фиксированным расстоянием.
Решением для лучшей 3D-визуализации может заключаться в 60-летней технологии, переделанной для цифрового мира: голограммах.
Голограммы обеспечивают исключительное представление 3D-мира вокруг нас. Кроме того, они прекрасны. (Например изображение голографического голубя на вашей карте Visa.) Голограммы предлагают смещающуюся перспективу в зависимости от положения зрителя, и они позволяют глазу регулировать глубину фокусировки, чтобы попеременно фокусироваться на переднем и заднем плане.
Исследователи давно стремились сделать компьютерные голограммы, но этот процесс традиционно требовал суперкомпьютера для прохождения физического моделирования, что отнимает много времени и может дать менее фотореалистичные результаты. Теперь исследователи MIT (Массачусетский Технологический Институт) разработали новый способ получения голограмм почти мгновенно — и метод, основанный на глубоком обучении, настолько эффективен, что он может работать на ноутбуке в мгновение ока, говорят исследователи.
«Ранее люди думали, что с существующим оборудованием потребительского класса невозможно выполнять 3D-голографические вычисления в режиме реального времени», — говорит Лян Ши, ведущий автор исследования и аспирант кафедры электротехники и компьютерных наук Массачусетского технологического института (EECS).
«Часто говорят, что коммерчески пригодные голографические дисплеи будут доступны через 10 лет, но это заявление существует уже несколько десятилетий».
Ши считает, что новый подход, который команда называет «тензорной голографией», наконец, приведет к этой неуловимой 10-летней цели. Прогресс может подпитывать распространение голографии в такие области, как VR и 3D-печать.
Ши работал над исследованием, опубликованным сегодня в Nature,со своим советником и соавтором Войцехом Матусиком.
Другие соавторы: Бейхен Ли из EECS и Лаборатории компьютерных наук и искусственного интеллекта в Массачусетском технологическом институте, а также бывших исследователей MIT Чангила Кима (теперь в Facebook) и Петра Келлнхофера (теперь в Стэнфордском университете).
Поиск лучшего 3D
Типичная фотография - на ней закодирована яркость каждой световой волны — фотография может точно воспроизводить цвета сцены, но в конечном итоге она дает плоское изображение.
Напротив, голограмма кодирует как яркость, так и фазу каждой световой волны. Эта комбинация обеспечивает более точное изображение параллакса и глубины сцены. Таким образом, в то время как фотография «Водяных лилий» Моне может подчеркнуть цветовую палитру картин, голограмма может оживить работу, издавая уникальную 3D-текстуру каждого мазка кисти. Но, несмотря на их реалистичность, голограммы являются проблемой для создания и обмена.
Впервые ранние голограммы записаны и разработаны в середине 1900-х годов, были записаны оптически. Это требовало разделения лазерного луча, причем половина луча использовалась для освещения объекта, а другая половина использовалась в качестве ориентира для фазы световых волн.
Это порождает уникальное чувство глубины голограммы.
Полученные изображения были статичными, поэтому они не могли захватывать движение. И они были только в печатном виде, что затрудняло их воспроизведение и совместное использование.
Компьютерная голография обходит эти проблемы, моделируя оптическую установку.
«Поскольку каждая точка в сцене имеет разную глубину, вы не можете применять одни и те же операции для всех из них», — говорит Ши. «Это значительно увеличивает сложность».
Направление кластерного суперкомпьютера для запуска этих симуляций на основе физики может занять секунды или минуты для одного голографического изображения. Кроме того, существующие алгоритмы не моделируют окклюзию с фотореалистичной точностью. Поэтому команда Ши приняла другой подход: позволить компьютеру преподавать физику самому себе.
Они использовали глубокое обучение для ускорения компьютерной голографии, что позволило генерировать голограммы в режиме реального времени. Команда разработала специальную нейронную сеть — метод обработки, который использует цепочку обучаемых тензоров, чтобы грубо имитировать то, как люди обрабатывают визуальную информацию. Обучение нейронной сети обычно требует большого, высококачественного набора данных, которого ранее не существовало для 3D-голограмм.
Команда создала пользовательскую базу данных из 4000 пар компьютерных изображений. Каждая пара сопоставила изображение, включая информацию о цвете и глубине для каждого пикселя, с соответствующей голограммой. Для создания голограмм в новой базе данных исследователи использовали сцены со сложными и переменными формами и цветами, с глубиной пикселей, равномерно распределенной от фона до переднего плана, и с новым набором физических вычислений для обработки окклюзии. Такой подход привел к фотореалистичным обучающих данным. Далее алгоритм приступил к работе.
Изучая каждую пару изображений, тензорная сеть настраивала параметры своих собственных вычислений, последовательно повышая свою способность создавать голограммы. Полностью оптимизированная сеть работала на порядки быстрее, чем физические расчеты. Эта эффективность удивила саму команду.
«Мы поражены тем, насколько хорошо он работает», — говорит Матусик.
Всего за миллисекунды тензорная голография может создавать голограммы из изображений с информацией о глубине, которая предоставляется типичными компьютерными изображениями и может быть рассчитана с помощью многокамерной установки или датчика LiDAR (оба являются стандартными на некоторых новых смартфонах).
Этот прогресс прокладывает путь для 3D-голографии в реальном времени. Более того, компактная тензорная сеть требует менее 1 МБ памяти.
«Это ничтожно мало, учитывая десятки и сотни гигабайт, доступных на последнем сотовом телефоне», — говорит он.
Исследование «показывает, что 3D-голографические дисплеи практичны и с умеренными вычислительными требованиями», — говорит Джоэл Коллин, главный оптический архитектор в Microsoft.
Он добавляет, что «этот эксперимент показывает заметное улучшение качества изображения по сравнению с предыдущими работами», что «добавит реализма и комфорта для зрителя».
Коллин также намекает на возможность того, что голографические дисплеи, подобные этому, могут быть даже настроены на офтальмологический рецепт зрителя.
«Голографические дисплеи могут корректировать аберрации в глазу. Это позволяет отображать изображение более четкое, чем то, что пользователь мог видеть с помощью контактных линз или очков, что корректирует только аберрации низкого порядка, такие как фокусировка и астигматизм».
"Значительный скачок"
3D-голография в реальном времени улучшит множество систем, от VR до 3D-печати. Команда говорит, что новая система может помочь погрузить зрителей VR в более реалистичные пейзажи, устраняя при этом напряжение глаз и другие побочные эффекты долгосрочного использования VR.
Технология может быть легко развернута на дисплеях, которые модулируют фазу световых волн. В настоящее время большинство доступных дисплеев потребительского класса модулируют только яркость.
Трехмерная голография также может стимулировать развитие объемной 3D-печати, говорят исследователи. Эта технология может оказаться быстрее и точнее, чем традиционная послойная 3D-печать, поскольку объемная 3D-печать позволяет одновременно проецирование всего 3D-рисунка.
Другие прикладные области использования включают микроскопию, визуализацию медицинских данных и проектирование поверхностей с уникальными оптическими свойствами.
«Это значительный скачок, который может полностью изменить отношение людей к голографии», — говорит Матусик.
«Мы чувствуем, что нейронные сети были рождены для этой задачи».
Работа была поддержана, в частности, Sony.
Спасибо за прочтение!
