Вероятно, это не самый эстетичный кадр предновогодней Москвы, но он и не претендует на художественную ценность. Главное, это очень сложный сценарий съёмки для фотокамеры: яркий объект на переднем плане, неосвещённые здания на фоне, много мелких деталей, вывески с текстом, снег и движущийся курьер на электровелосипеде.
С точки зрения физики света, эта фотка не должна была получиться. Сенсоры и стёкла в камерах смартфонах крошечные, а результат съёмки здесь буквально противоречит законам оптики. На матрицу попадает крайне мало информации о свете и цвете, однако практика показывает, что даже аппараты среднего ценового сегмента способны делать классные фотографии в очень сложных условиях.
Например, на снимке к этой статье стоило ждать либо очень высокую светочувствительность (ISO), либо долгую выдержку. В первом случае яркий объект на переднем плане получился бы пересвеченным и потерял все детали, а сам снимок должен покрыться цифровыми шумами. С долгой выдержкой фотография оказалась бы смазанной из-за микродвижений рук и движущихся объектов.
Так как же тогда работает камера смартфона?
В традиционной фотографии главным действующим трендом был и остаётся реализм. Что камера «увидела» — то мы и получаем. А дальше уже дело за ретушью и цветокоррекцией. Они способны подчеркнуть достоинства, скрыть недостатки снимка и создать нужное настроение. Но это всё задачи если не для профессионалов, то уж точно для энтузиастов фотографии. В смартфонах больше всего ценится сценарий «навёл и снял», чтобы вскоре поделиться снимком в соцсетях или мессенджерах.
Инженеры отлично понимали, что среднестатистический пользователь не будет изучать теорию фотографии и тренировать навыки ретуши. Увеличить размеры компонентов до уровня классических фотоаппаратов тоже невозможно, ведь строгие ограничения накладывают габариты корпуса и необходимость расположить другую важную начинку. Впрочем, эксперименты с объединением смартфона и «мыльницы» случались, но успехом такие гибриды никогда не пользовались.
Решением проблемы стала «алгоритмическая» (или вычислительная) фотография и машинное обучение на массивах изображений для работы так называемого искусственного интеллекта.
Первое помогает нам делать «невозможные» снимки в сложных условиях, второе — получать более нарядные фотки, чтобы и без дополнительной обработки смотрелось привлекательно. Да, никакого реализма, зато результат классный. В зависимости от цены смартфона эти «алгоритмы и интеллекты» могут быть более или менее эффективными, но принцип их работы чаще всего идентичный.
За вычислительную фотографию отвечает сигнальный процессор (Image Signal Processor или просто ISP). Это отдельный подпроцессор на чипе, который проводит обработку полученных с сенсора данных и преобразовывает их в привычный формат JPEG.
Так в чём же магия аппаратной фотографии?
Чтобы справляться со съёмкой в сложных условиях, камера делает серию снимков с разными параметрами экспозиции и совмещает наиболее удачные участки. Концепция чем-то напоминает создание HDR-изображений. Склеивание серий позволяет получить как можно больше информации в тёмных участках, но в это же время не допустить пересвета и потери деталей в светлых зонах. Звучит довольно просто, однако есть много нюансов — например, чтобы правильно выбрать продолжительность серии, параметры каждого снимка и не допустить избыточного размытия движущихся объектов.
Кроме того, в ISP происходит объединение информации с соседних пикселей матрицы в «суперпиксели», так называемый алгоритм Quad Bayer. Например, в смартфоне TCL 30 5G сенсор имеет разрешение 50 Мп, однако в автоматическом режиме фотографии получаются 12 Мп. Для съёмки с полным разрешением нужно активировать соответствующий режим. Объединение четырёх пикселей в один позволяет получать наиболее точную информацию о цвете и свете для каждой точки, из которой строится фотография. Да, мы теряем в детализации картинки при зуме, зато выигрываем в качестве съёмки в сложных условиях. А это важнее.
Наконец, про алгоритмы искусственного интеллекта или режим AI в интерфейсе камеры. Поскольку не все пользователи смартфонов хотят прикладывать усилия к обработке снимков через сторонние приложения, инженеры решили чуть-чуть улучшать фотографии инструментами самой камеры. Для этого её «учат» распознавать текущую сцену при съёмке и «понимать», когда в кадре люди, еда, животные, ландшафт или городской пейзаж. Для разной сцены применяются разные параметры коррекции изображения. Например, для еды увеличивается насыщенность цветов, на животных повышается резкость для лучшей детализации шерсти, в снимках природы усиливаются зелёные цвета, а на городских пейзажах — голубой цвет неба. В итоге фотографии получаются более привлекательными даже без использования каких-то дополнительных инструментов.
Вот так за счёт склейки серии фотографий, объединения информации с соседних пикселей и распознавания объектов съёмки наши смартфоны делают фотографии, которые кажутся «невозможными» с учётом физических параметров камеры, но радуют глаз начинающих фотографов.
_______
Артур Сотников,
журналист и эксперт по гаджетам и мобильным технологиям
