Современные смартфоны делают снимки, которые ценятся за высокое качество, не столько благодаря оптике, сколько за счёт сложных алгоритмов, которые обрабатывают изображение за доли секунды. В этой статье разберёмся, что представляет собой вычислительная фотография, как работают режимы HDR+ и «ночная съёмка», и почему погоня за мегапикселями — маркетинговая уловка.
Чтобы понять, зачем смартфонам понадобились программные хитрости, вспомним основы. Качество фотографии напрямую зависит от количества света, которое попадает на светочувствительную матрицу. Большие камеры фотоаппаратов оснащены крупными сенсорами и массивными объективами, способными собрать много света. В результате получаются детализированные и чистые изображения.
В смартфоне — наоборот. Корпус толщиной меньше сантиметра накладывает жесточайшие физические ограничения: сенсор и линзы крошечные. При недостатке света трудно работать: на фото появляются шумы — цифровая рябь, теряются детали в тёмных и светлых участках кадра. Преодолеть эти физические ограничения с помощью одной оптики невозможно. Здесь на сцену выходит главный герой — вычислительная фотография.
Вычислительная фотография
Вычислительная фотография — это подход, при котором финальное изображение фиксируется в момент нажатия на кнопку и собирается из массы исходных данных при помощи алгоритмов. Вместо того чтобы сделать один кадр, смартфон делает серию снимков, анализирует их, и на их основе создаёт одну улучшенную фотографию.
За эту магию отвечает специальный чип внутри процессора смартфона — ISP Image Signal Processor, или процессор обработки сигналов изображения. Это «мозг» камеры, который выполняет миллиарды операций в секунду: совмещает кадры, убирает шум, корректирует цвета и делает то, о чём поговорим ниже. При каждом снимке телефон применяет набор технологий.
HDR+: борьба с тенями и пересветами
При съёмке сцены с ярким небом и тёмными объектами на земле результат предсказуем: либо небо превращается в белое пятно, либо земля — в чёрное. Технология HDR (High Dynamic Range, высокий динамический диапазон) решает эту проблему. При нажатии на спуск смартфон мгновенно делает тёмные и светлые кадры с разной экспозицией. Затем алгоритм совмещает их: из тёмных кадров берётся информация о небе, которое не успело «пересветиться», а из светлых — детали объектов в тени. Это склеивается в одно сбалансированное изображение, где видно и облака на небе, и кота под лавкой.
Ночной режим: создание света из темноты
Сделать яркий снимок ночью без штатива — задача невыполнимая для традиционной камеры. Но для смартфона — не проблема. Секрет в технике под названием «image stacking» (наложение изображений).
При активации «ночного режима» телефон держится неподвижно 3-4 секунды. За это время смартфон деле делает десятки коротких снимков. Каждый из них по отдельности тёмный и «шумный». Но затем алгоритм совмещает эти кадры. Поскольку цифровой шум на каждом снимке появляется в случайных местах, при усреднении десятков кадров он «гасит» сам себя. А вот полезная информация об объектах (которая на кадрах одинакова) наоборот, накапливается и усиливается. В итоге из полной темноты получается яркий и относительно детализированный снимок.
Портретный режим и цифровое боке
В профессиональной фотографии размытие фона — боке — достигается за счёт оптики: объективов с широкой диафрагмой. Смартфоны же имитируют этот эффект программно. Для этого телефон определяет, какие объекты — близко, а какие — далеко. Он строит «карту глубины» сцены. Сделать это можно несколькими способами:
- С помощью двух камер. Как и наши глаза, две камеры рассчитывают расстояние до объектов по смещению картинки.
- С помощью специальных сенсоров. LiDAR-сканеры или ToF-сенсоры испускают невидимые лучи света и измеряют время, за которое они вернутся, точно определяя дистанцию до каждой точки.
- С помощью нейросетей. Сложный способ, когда алгоритм анализирует картинку с одной камеры и на основе своего «опыта» определяет, где — объект, а где — фон.
Получив карту глубины, процессор аккуратно «вырезает» основной объект и применяет к фону программный фильтр размытия.
Мегапиксели против качества: что такое Pixel Binning?
Маркетологи обожают хвастаться камерами на 108, а то и 200 мегапикселей. На практике эти цифры часто вводят в заблуждение. Такие камеры по умолчанию снимают с гораздо меньшим разрешением — 12 Мп, но используют при этом технологии Pixel Binning — объединение пикселей.
Суть такова: алгоритм объединяет соседние пиксели на матрице в группы 4-в-1 или 9-в-1 в один «суперпиксель». Этот «суперпиксель» имеет большую площадь и способен захватить больше света. В результате изображение получается менее шумным и более качественным, особенно при недостаточном освещении. Взамен мы жертвуем разрешением. В большинстве сценариев выигрыш в качестве света гораздо важнее, чем гигантское количество пикселей.
В современных смартфонах для получения качественных фотографий важны не только оптика и сенсор, но и такие важные компоненты, как процессор и программные алгоритмы. Сенсор со слабым ISP и плохим ПО не даст нормального результата.
Ярчайший пример — телефоны Google Pixel. В течение предыдущих лет Google использовала не совсем новые сенсоры, но благодаря передовым алгоритмам вычислительной фотографии их камеры считаются первыми на рынке. Борьба за звание первого камерофона не сводится только к оптике. Это сражение среди программистов и инженеров по обработке изображений. Понимание этого процесса помогает внимательно смотреть на характеристики в рекламных буклетах и ценить ту «магию», что происходит в смартфоне при каждом щелчке затвора.
Источники:
1. Google AI Blog: «Night Sight: Seeing in the Dark on Pixel Phones»
Ссылка: https://ai.googleblog.com/2018/11/night-sight-seeing-in-dark-on-pixel.html
Это первоисточник от инженеров Google, объясняющий принципы работы ночного режима (Night Sight). Идеально подходит для подтверждения информации о том, как работает техника «image stacking» (наложение изображений) и усреднение шума.
2. Android Authority: «What is pixel binning? Everything you need to know»
Ссылка: https://www.androidauthority.com/what-is-pixel-binning-966179/
Подробная и доступная статья, объясняющая технологию объединения пикселей (Pixel Binning) с наглядными примерами. Можно сослаться на нее в разделе о мегапикселях, чтобы читатель мог изучить тему еще глубже.
3. AnandTech: «The Snapdragon 888's ISP is a Big Leap Forward»
Ссылка: https://www.anandtech.com/show/16283/qualcomm-announces-snapdragon-888 (статья о конкретном чипе, но в ней отлично объясняется роль ISP)
AnandTech славится глубоким техническим анализом. Ссылки на подобные статьи подтверждают тезис о том, насколько важен процессор обработки изображений (ISP) и как его мощность напрямую влияет на возможности камеры.
4. Wikipedia: «Computational photography»
Ссылка: https://en.wikipedia.org/wiki/Computational_photography
Для предоставления общего, академического определения термина и его истории. Показывает, что это не просто маркетинговый термин, а целая научная область.