Исследователи из Мэрилендского университета превратили отражения объектов в глазах человека в 3D-сцены. Для этого была задействована технология Neural Radiance Fields (NeRF), которая позволяет преобразовывать двухмерные изображения в трёхмерные модели.
Команда использовала тонкие отражения света, улавливаемые человеческими глазами, чтобы попытаться различить непосредственное окружение человека. Они взяли несколько снимков в высоком разрешении, на которых был запечатлён человек в движении, смотрящий в сторону камеры. А затем увеличили масштаб отражений в глазах, чтобы вычислить, куда был направлен взгляд на фото.
Результатом оказалась вполне различимая картинка, на которой можно рассмотреть предметы окружающей среды. А вот попытка смоделировать отражения глаз в музыкальных клипах Майли Сайрус и Леди Гаги привела лишь к появлению расплывчатых пятен, похожих на вспышку от камеры.
При этом исследователи столкнулись с рядом трудностей. Например, роговица создаёт «внутренний шум», который затрудняет отделение отражённого света от сложной структуры радужной оболочки глаза. Решить её помогла оптимизация положения роговицы, декомпозиция текстуры радужной оболочки и потеря упорядоченности радиальных текстур.
Пока непонятно, в какой сфере может оказаться полезна данная технология, но учёные всё же надеются, что она приведёт к прогрессу и станет стимулом для будущих научных прорывов. И хотя всё это напоминает сцены из фильмов про шпионов, стоит напомнить случай, когда фанат выследил в Японии девушку по отражению в её глазах на фото.