Физический мир вокруг нас трехмерный (3D); однако традиционные устройства отображения могут показывать только двумерные (2D) плоские изображения, которым не хватает информации о глубине (третьем измерении). Это фундаментальное ограничение значительно ограничивает нашу способность воспринимать и понимать сложность объектов реального мира. Почти 50% возможностей человеческого мозга посвящено обработке визуальной информации [ 1 ]. Плоские изображения и 2D дисплеи не используют силу мозга эффективно.
Если 2D-изображение стоит тысячи слов, то 3D-изображение стоит миллион. Данная статья представляет собой систематизированный обзор современных технологий 3D-отображения. Мы классифицируем технологии автостереоскопического 3D-дисплея на три широкие категории: (1) multiview 3D display, (2) volumetric 3D display и (3) digital hologram display. Приводится подробное описание механизма 3D-отображения в каждой категории. Для полноты мы также кратко рассмотрим бинокулярные стереоскопические 3D-дисплеи, которые требуют ношения специальных очков.
Для многовидовых 3D-технологий отображения мы рассмотрим окклюзионные технологии (параллаксный барьер, последовательная во времени апертура, движущаяся щель и цилиндрический параллаксный барьер), основанные на преломлении (линзообразный лист, мультипроектор, призма и интегральная визуализация), основанные на отражении, основанные на дифракции, основанные на освещении и проекционные 3D-механизмы отображения. Мы также кратко обсудим последние разработки в области супер-мультивью и мультивью с технологиями отслеживания глаз.
Для объемных технологий отображения 3D, мы рассмотрим статический экран (полупроводниковое upconversion, средство газа, блок voxel, наслоенный стог LCD, и кристаллический куб) и подметенный экран (вращая блок Сид, сфера катодного луча, varifocal зеркало, вращая спираль, и вращая плоский экран). Обсуждаются как пассивные экраны (без излучателя), так и активные (с излучателями на экране).
Для цифровых дисплеев голограммы 3D, мы рассмотрим самый последний прогресс в голографических системах индикации начатых MIT, воображением зебры, QinetiQ, SeeReal, IMEC, и Университетом Аризоны.
Мы также предоставляем Раздел для обсуждения нескольких очень популярных технологий "псевдо 3D-дисплея", которые часто ошибочно называют голографическими или истинными 3D-дисплеями и включают в себя телеприсутствие на сцене, туманные экраны, графические водопады и методы виртуальной реальности, такие как Vermeer от Microsoft.
Заключительные замечания даны с сравнительной таблицей, обзором индустрии 3D изображений и будущими тенденциями в развитии технологий. Обзор, представленный в этой статье, должен быть полезен исследователям в этой области, поскольку он дает представление о текущем состоянии техники, из которого поощряются последующие исследования в значимых направлениях. Этот обзор также способствует повышению эффективности исследований, предотвращая ненужное дублирование уже проведенных исследований.
1.1. Зачем нужен 3D дисплей?
Там было несколько фундаментальных прорывов в технологии отображения с момента появления телевидения в 1940-х годах. Клише, часто используемое при описании прогресса компьютерных технологий, выглядит следующим образом: если бы автомобили следовали той же эволюционной кривой, что и компьютеры, современный автомобиль стоил бы доллар и мог бы кружить по земле за час, используя бензин на несколько центов. Однако, применив ту же метафору к устройствам отображения информации, мы, скорее всего, окажемся за рулем старинного "Бьюика" 1940-х годов.
Обычные 2D дисплейные устройства, такие как электронно-лучевые трубки (ЭЛТ), жидкокристаллические устройства (ЖК-дисплеи) или плазменные экраны, часто приводят к неоднозначности и путанице в высокомерном представлении данных/графики из-за отсутствия истинных сигналов глубины. Даже с помощью мощного программного обеспечения 3D-рендеринга сложные шаблоны данных или 3D-объекты, отображаемые на 2D-экранах, по-прежнему не могут обеспечить пространственные отношения или информацию о глубине правильно и эффективно. Отсутствие истинного 3D-дисплея часто ставит под угрозу нашу способность правдиво визуализировать высокоразмерные данные, которые часто встречаются в передовых научных вычислениях, компьютерном проектировании (САПР), медицинской визуализации и многих других дисциплинах. По существу, устройство 2D-отображения должно полагаться на способность людей объединять трехмерное представление изображений. Несмотря на впечатляющие умственные способности зрительной системы человека, ее зрительное восприятие ненадежно, если отсутствуют определенные глубинные сигналы.
На рис.1 показан пример оптической иллюзии, демонстрирующей, как легко ввести в заблуждение зрительную систему человека в двумерном плоском дисплее. Слева от рисунка несколько кусочков предмета. Они выглядят как углы и стороны какого-то 3D объекта. После их объединения на двумерном экране формируется чертеж физически невозможного объекта (правая часть рис. 1). Обратите внимание, что, однако, нет ничего невозможного в коллекции 2D линий и углов, составляющих 2D чертеж. Причина для этой оптической иллюзии, котор нужно произойти отсутсвие правильных реплик глубины в 2D системе индикации. Чтобы эффективно преодолеть иллюзию или путаницу, которая часто возникает при визуализации высокоразмерных данных / изображений, необходимы истинные объемные 3D-системы отображения, которые сохраняют большинство сигналов глубины в изображении.
1.2. Что такое "идеальный" 3D дисплей?
True 3D display-это "Святой Грааль" технологии визуализации, которая может обеспечить эффективные инструменты для визуализации и понимания сложных высокоразмерных данных и объектов. Технологии 3D-дисплеев уже более века являются актуальной темой исследований [ 2-27].
Что такое "идеальный" 3D дисплей? Идеальный 3D-дисплей должен функционировать как” окно в мир“, через которое зрители могут воспринимать ту же 3D-сцену, как если бы экран 3D-дисплея был прозрачным” окном " для объектов реального мира. На рис.2показана концепция “окна в мир”. На Фиг. 2(a), зритель смотрит на 3D объекты в мире напрямую. Теперь мы помещаем экран 3D-дисплея между зрителем и 3D-сценой. Устройство отображения 3D должно быть в состоянии полностью дублировать все визуальное ощущение, полученное зрителем. Другими словами, идеальный 3D-дисплей должен быть в состоянии предложить все сигналы глубины своим зрителям. 2 (b)].
1.3. Сигналы глубины обеспеченные дисплейными устройствами 3Д
Компьютерная графика улучшает ощущение 3D при просмотре 3D объектов. Несмотря на то, что улучшенное 3D-изображение имеет глубину или объем, оно по-прежнему является только 2D, из-за характера 2D-отображения на плоском экране. Зрительная система человека нуждается в физических и психологических сигналах глубины, чтобы распознать третье измерение. Физические сигналы глубины могут быть введены только истинными 3D объектами; психологические сигналы могут быть вызваны 2D изображениями.
Человеческий мозг использует четыре основных сигнала физической глубины, чтобы получить истинное трехмерное ощущение [ 2 ] ( Рис. 3):
- Аккомодация измерение напряжения мышцы используемого для того чтобы отрегулировать фокусное расстояние глаз. Другими словами, он измеряет, насколько глазная мышца заставляет линзы глаз менять форму, чтобы получить сфокусированное изображение определенного 3D-объекта в сцене, чтобы сфокусировать глаза на 3D-объекте и воспринимать его 3D-глубину.
- Конвергенция-это измерение угловой разности между направлениями просмотра двух глаз зрителя, когда они смотрят на одну и ту же точку фиксации на 3D-объекте одновременно. Основываясь на принципе триангуляции, чем ближе объект, тем больше глаза должны сходиться.
- Параллакс движения предлагает сигналы глубины путем сравнивать относительное движение различных элементов в 3D сцене. Когда голова зрителя перемещается, более близкие 3D объекты перемещаются быстрее, чем удаленные от зрителя.
- Бинокулярное несоответствие (стерео) относится к различиям в изображениях, полученных левым глазом и правым глазом. Чем дальше 3D-объект, тем дальше друг от друга находятся два изображения.
Некоторые устройства 3D-отображения могут предоставлять все эти сигналы физической глубины, в то время как другие автостереоскопические методы 3D-отображения могут не обеспечивать все эти сигналы. Например, 3D-фильмы на основе стереоскопических очков могут вызывать усталость глаз из-за конфликта аккомодации и конвергенции, поскольку отображаемые изображения находятся на экране, а не на их физическом расстоянии в 3D-пространстве [ 28 ].
Человеческий мозг может также получить трехмерное ощущение, извлекая психологические сигналы глубины из двумерных монокулярных изображений [ 3 ]. Примеры (Фиг. 4) включить следующее:
1. Линейная перспектива-это появление относительного расстояния между трехмерными объектами, например, иллюзия железнодорожных путей, сходящихся в отдаленной точке на горизонте.
2. Окклюзия-это невидимые части объектов за непрозрачным объектом. Человеческий мозг интерпретирует частично закрытые объекты как лежащие дальше, чем вставленные.
3. Затенение, наложенное одним объектом на другой, дает сильные подсказки пространственных отношений 3D. Изменения в интенсивности помогают человеческому мозгу вывести поверхностную форму и ориентацию объекта.
4. Текстура относится к мелкомасштабным структурам на поверхности объекта, которые могут быть использованы для вывода трехмерной формы объекта, а также его расстояния от зрителя.
5. Предварительное знание знакомых размеров и форм общих структур-как свет взаимодействует с их поверхностями и как они ведут себя во время движения—можно использовать для вывода их трехмерных форм и расстояния от зрителя.
Человеческая визуальная система воспринимает 3D-сцену через подсознательный анализ с динамическими движениями глаз для выборки различных функций 3D-объектов. Все визуальные сигналы способствуют этому динамическому и адаптивному процессу визуального восприятия.
Различные сигналы глубины имеют различные влияния на различных расстояниях просмотра стойки -. На рис. 5 показаны общие тенденции изменения некоторых глубинных сигналов в зависимости от расстояния наблюдения (см. Hong et al. [27 ] и Хоффман и др. [28 ] для деталей). Вообще, влияния главных физических сигналов глубины уменьшают с увеличением расстояния просмотра стойки-прочь, пока влияния психологических сигналов глубины остают этими же.
Часто довольно трудно для прибора дисплея 3D обеспечить все физические и психологические сигналы глубины одновременно. Некоторые из методов объемного 3D-отображения, например, могут быть не в состоянии обеспечить затенение или текстуру из-за неотъемлемо прозрачного характера отображаемых вокселей. Некоторые технологии 3D-отображения, такие как стереоскопический дисплей, обеспечивают противоречивые сигналы глубины о расстоянии фокусировки и сходящемся расстоянии глаза, явление, которое часто называют расстройством аккомодации/конвергенции (которое обсуждается в разделе 2.5).
1.4. Пленоптическая Функция
В 1991 году Адельсон и Берген [ 29 ] разработали концепцию пленоптической функции ( рис. 6) описать виды визуальной стимуляции, которые могут восприниматься зрительными системами. Пленоптическая функция является наблюдательным описанием света в пространстве и времени. Наиболее общая формулировка Адельсона пленоптической функции P зависит от нескольких переменных:
· местоположение в пространстве, откуда виден или анализируется свет, описывается трехмерной координатой (x; y; z);
· направление, с которого свет приближается к этому месту просмотра, задается двумя углами (θ, ϕ);
· длина волны света λ; и
· время наблюдения t .
Таким образом, пленоптическая функция может быть записана следующим образом:
P (x, y, z, θ, ϕ, λ, t)
Отметим, что пленоптическая функция и световое поле [ 8], которые будут рассмотрены в разделе 3.1, имеют сходство в описании визуальной стимуляции, которая может быть воспринята зрительными системами.
1.5. От 2D ПИКСЕЛЯ ДО 3D воксела (или Hogel)
Большинство экранов 2D-дисплея создают пиксели, которые являются точками, излучающими свет определенного цвета и яркости. Они никогда не принимают на различную яркость или оттенок цвета независимо от того, как или от того, где они осмотрены. Это всенаправленное поведение излучения предотвращает 2D экраны дисплея от производить истинное шумиху 3D.
Глубокое понимание, предлагаемое теориями пленоптической функции и светового поля, показывает, что компоненты изображения, которые формируют 3D—изображения, часто называемые вокселями (объемные элементы изображения) или хогелями (голографические элементы изображения), должны быть направленными излучателями-они, по-видимому, излучают направленно изменяющийся свет ( рис. 7). К направленным излучателям относятся не только самоосвещающиеся источники направленного света, но и точки на поверхностях, которые отражают, преломляют или передают свет от других источников. Излучение этих точек зависит от окружающей среды.
3D-дисплей имитирует пленоптическую функцию света от физического объекта ( рис. 7). Точность к которой эта мимикрия унесена сразу результат технологии за пространственным дисплейным устройством. Чем больше объем и точность информации о виде, представленной зрителю дисплеем, тем больше дисплей выглядит как физический объект. С другой стороны, увеличение объема информации также приводит к усложнению отображения и повышению затрат на передачу и обработку данных.
1.6. Классификация технологии 3D-отображения
В прошлом было много книг и обзорных статей по теме, связанной с технологиями 3D – отображения [ 2-27 ]. Они сформировали богатую базу знаний в этой увлекательной области. В этой статье мы попытаемся организовать этот богатый набор баз знаний предметной области, а также некоторые из последних современных разработок в единую структуру. Рисунок 8 представлена классификационная диаграмма технологий 3D-отображения. Две принципиально разные категории-бинокулярные технологии стереодисплея, которые полагаются на специальные очки, которые носят зрители для получения ощущения 3D и автостереоскопические технологии 3D-дисплея, которые являются очками бесплатно и в которых зрители могут получить ощущение 3D через их невооруженные глаза. Существует три основных класса в автостереоскопических 3D-дисплеях: multiview 3D display, volumetric 3D display и holographic display.
В следующих разделах мы кратко обсудим каждую из методик, перечисленных на рис. 8. Мы стараемся выделить ключевые инновационные концепции в каждой оптико-электромеханической конструкции и предоставить содержательную графическую иллюстрацию, не увязая в слишком больших технических деталях. Мы надеемся, что читатели с общим фоном в оптике, компьютерной графике, компьютерном видении или других различных областях применения 3D могут получить представление о ландшафте в области отображения 3D и извлечь выгоду из этой всеобъемлющей, но краткой презентации, когда они выполняют свои задачи в 3D-дизайне и приложениях системы отображения.
Ссылки на литературу:
1. Мариб Эн, Хоэн КН. Анатомия И Физиология Человека. Pearson; 2012. [Google Scholar]
2. Окоши Т. Трехмерные Методы Визуализации. Академический; 1976. [Google Scholar]
3. Blundell B, Schwarz A. Объемная Трехмерная Система Отображения. Wiley; 2000. [Google Scholar]
4. Габор Д. Голография1948-1971. Proc IEEE. 1972; 60: 655-668. [Google Scholar]
5. Benton S, Bove M. Голографическое Изображение. Wiley Interscience; 2008. [Google Scholar]
6. Lueder E. 3D дисплеи. Wiley; 2012. [Google Scholar]
7. Hainich R, Bimber O. Дисплеи: Основы И Приложения. Peters / CRC Press; 2011. [Google Scholar]
8. Левой М., Ханрахан П. рендеринг светового поля. Материалы 23-й ежегодной конференции по компьютерной графике и интерактивным методам, СИГГРАФ; 1996 год. С. 31-42. [Google Scholar]
9. Matusik W, Pfister H. 3D TV: масштабируемая система для сбора, передачи и автостереоскопического отображения динамических сцен в реальном времени. ACM Транс Граф. 2004; 23: 814-824. [Google Scholar]
10. Доджсон Н. автостереоскопические 3D дисплеи. Компьютер. 2005; 38 (8):31-36. [Google Scholar]
11. Favalora G. объемные 3D-дисплеи и инфраструктура приложений. Компьютер. 2005; 38 (8):37-44.[Google Scholar]
12. Downing E, Hesselink L, Ralston J, Macfarlane R. трехцветный, твердотельный трехмерный дисплей. Наука. 1996; 273 :1185-1189. [Google Scholar]
13. Jones a, McDowall I, Yamada H, Bolas M, Debevec P. рендеринг для интерактивного отображения светового поля 360°. Siggraph 2007 документы. 2007 документ 40. [Google Scholar]
14. Javidi B, Okano F. трехмерное телевидение, видео и технологии отображения. Springer; 2011. [Google Scholar]
15. Geng J. объемный 3D дисплей для планирования лучевой терапии. J Disp Technol. 2008; 4: 437-450. [Google Scholar]
16. Geng J. структурированное-световое трехмерное изображение поверхности: учебное пособие. Adv Opt Photon. 2011; 3: 128-160. [Google Scholar]
17. Takaki Y, Nago N. Многопроекция линзообразных дисплеев для создания 256-видового супер-многовидового дисплея. Опт Экспресс. 2010; 18: 8824-8835. [ PubMed ] [Google Scholar]
18. Pastoor S, wöpking M. 3-D дисплеи: обзор современных технологий. Дисплеи. 1997; 17: 100-110.[Google Scholar]
19. Geng J. многовидовой трехмерный дисплей с использованием одного проектора. Дисплеи.(отправлено) [ Google Scholar]
20. Sullivan A. 3 Deep: новые дисплеи отображают изображения, которые вы можете почти дотянуться и коснуться. IEEE Spectrum. 2005; 42 (4): 30-35. [Google Scholar]
21. Макфарлейн Д. объемный трехмерный дисплей. Appl Opt. 1994; 33 :7453-7457. [ PubMed ] [Google Scholar]
22. Son J-Y, Javidi B, Kwack K-D. методы отображения трехмерных изображений. Proc IEEE. 2006; 94: 502-523. [Google Scholar]
23. Son J-Y, Javidi B, Yano S, Choi K-H. последние разработки в области технологий трехмерной визуализации. J Disp Technol. 2010; 6: 394-403. [Google Scholar]
24. Urey H, Chellappan KV, Erden E, Surman P. современное состояние стереоскопических и автостереоскопических дисплеев. Proc IEEE. 2011; 99: 540-555. [Google Scholar]
25. Ли Б. трехмерные дисплеи, прошлое и настоящее. Физ Сегодня. 2013; 66 (4): 36-41.[Google Scholar]
26. Holliman NS, DODGSON NA, Favalora GE, Pockett L. трехмерные дисплеи: обзор и анализ приложений. IEEE Trans Broadcast. 2011; 57: 362-371. [Google Scholar]
27. Hong J, Kim Y, Choi H-J, Hahn J, Park J-H, Kim H, Min S-W, Chen n, Lee B. трехмерные технологии отображения последних интересов: принципы, статус и вопросы [приглашенные] Appl Opt. 2011; 50: H87-H115. [ PubMed ] [Google Scholar]
28. Hoffman DM, Girshick AR, Akeley K, банки MS. vergence-конфликты аккомодации препятствуют визуальной производительности и вызывают зрительную усталость. J Vis. 2008; 8 (3):33, 1-30.[ Бесплатная статья PMC ] [ PubMed ] [ Google Scholar]
29. Adelson E, Bergen J. вычислительные модели визуальной обработки. MIT; 1991. Пленоптическая функция и элементы раннего зрения; С. 3-20. [Google Scholar]
30. Sorensen SEB, Hansen PS, Sorensen NL. Способ записи и просмотра стереоскопических изображений в цвете c использованием многохромных фильтров. 6,687,003. Патент США. 3 февраля 2004 года;