Все мы знаем фразу - "красота в глазах смотрящего". Можно ее по разному толковать, но если сделать это дословно, то в наших глазах содержится отражение того, что так очаровывает. Ученые из Университета Мэриленда разработали метод, позволяющий извлекать эти отражения из фотографии и преобразовывать их в 3D-модели. В результате иногда получается точная модель того, что происходит перед субъектом.
Человеческий глаз не плоский, что создает определенные трудности при обучении алгоритмов анализировать эти отражения. Однако нам повезло, что роговицы почти не отличаются друг от друга. Физическая геометрия и текстура роговицы (прозрачного верхнего слоя глаза) почти одинаковы у всех здоровых взрослых людей. Благодаря оптимизации положения роговицы и декомпозиции текстуры радужной оболочки исследователи создали модель, которая может компенсировать размытые отражения с низким разрешением. По сути, они подгоняют 3D-объекты так, чтобы они продолжали соответствовать оригинальному изображению с разных ракурсов, а не только с того, который на фотографии.
Вооружившись новым алгоритмом, команда создала 3D-модели из различных отражений глаз. Вы можете увидеть несколько примеров ниже, и они весьма впечатляют. Такие объекты, как коллекция игрушек, отображаются с удивительной четкостью - мягкая игрушка Kirby выглядит очень реалистично с нескольких ракурсов, несмотря на то, что в исходных данных имеет всего одно неподвижное изображение. Ранее для достижения такого же эффекта с отражениями в глазах требовалось видео высокого разрешения с различных ракурсов.
Примеры в видео выше - лучшее, что может предложить команда, но такой эффект достигается далеко не всегда. Это изображения, снятые в лабораторных условиях, где команда управляет освещением, отражениями и углом камеры. Команда также использовала несколько синтетических глазных яблок, которые давали еще более четкое изображение. Веб-сайт проекта, на котором в конечном итоге будет размещен исходный код рендеринга, включает в себя некоторые «дикие» попытки использования портретных фотографий Леди Гаги и Майли Сайрус в высоком разрешении. Ученым удалось извлечь некоторые отражения, но они не очень информативны. Команда предполагает, что на одной фотографии может быть отражен торс человека, но большинство профессиональных портретов снимаются таким образом, чтобы минимизировать отражения.
Исследователи не обсуждают потенциальные области применения этой технологии, но можно предположить, что такая техника поможет найти улики в уголовных расследованиях. Большинство преступлений не связаны с фотографиями глаз человека в высоком разрешении, но никогда не знаешь наверняка. С другой стороны, такое стремление узнать, что находится за кадром является вторжениям в частную жизнь в стиле «Черного зеркала».