Флагманские телефоны полагаются на объединение пикселей, чтобы обеспечить хорошую производительность при слабом освещении, когда темно, и фотографии с высоким разрешением, когда ярко. Вот как это работает.
Мегапиксели раньше были намного проще: большее число означало, что ваша камера могла запечатлеть больше деталей фотографии, если в сцене было достаточно света. Но технология под названием биннинг пикселей, которая теперь универсальна на флагманских смартфонах, меняет старые правила фотографии к лучшему.
Короче говоря, объединение пикселей дает вам камеру, которая предлагает много деталей при ярком свете, но при этом не становится бесполезной при тусклом свете.
Однако необходимые аппаратные изменения приносят некоторые компромиссы и интересные детали, и разные производители телефонов пробуют разные рецепты объединения пикселей.
Биннинг пикселей появился в 2018 году, широко распространился в 2020 году с такими моделями, как Samsung Galaxy S20 Ultra и Xiaomi Mi 10 Pro, и появился на оборудовании Apple и Google с телефонами iPhone 14 Pro и Pixel 7 в 2022 году. Топовая модель от Samsung, Galaxy S22 Ultra оснащен 108-мегапиксельным датчиком основной камеры, а объединение пикселей может стать следующим технологическим скачком с ожидаемой 200-мегапиксельной основной камерой S23 Ultra, которая дебютирует 1 февраля.
Что такое биннинг пикселей?
Объединение пикселей — это технология, разработанная для того, чтобы сделать датчик изображения более адаптируемым к различным условиям за счет группировки пикселей по-разному. При ярком свете вы можете снимать с полным разрешением сенсора, по крайней мере, на некоторых телефонах. Но когда темно, наборы пикселей — 2x2, 3x3 или 4x4, в зависимости от сенсора, — могут быть сгруппированы в более крупные виртуальные пиксели, которые собирают больше света, но делают снимки с более низким разрешением.
Например, датчик Samsung Isocell HP2 может делать снимки с разрешением 200 мегапикселей, снимки с разрешением 50 мегапикселей с группами пикселей 2x2 и снимки с разрешением 12,5 мегапикселей с группами пикселей 4x4.
Объединение пикселей предлагает еще одно преимущество, появившееся в телефонах 2020 года: виртуальный зум. Телефоны могут кадрировать снимок, чтобы собирать свет только от центральных пикселей 48-мегапиксельной основной камеры iPhone 14 Pro или 50-мегапиксельной камеры Google Pixel 7. Это превращает 1-кратную основную камеру в 2-кратный зум, позволяющий делать 12-мегапиксельные фотографии. Это будет хорошо работать только при относительно хорошем освещении, но это отличный вариант, и 12 мегапикселей являются преобладающим разрешением в течение многих лет, так что это все еще полезный снимок.
С таким высоким базовым разрешением датчики биннинга пикселей также могут работать с видео высокого разрешения, в частности, с чрезвычайно высоким разрешением 8K.
Объединение пикселей требует некоторых причудливых изменений в самом датчике и алгоритмах обработки изображений, которые преобразуют необработанные данные датчика в фото или видео.
Объединение пикселей — это трюк?
Нет. В основном нет. Это позволяет производителям телефонов хвастаться количеством мегапикселей, которые значительно превышают то, что вы увидите даже на цифровых зеркальных и беззеркальных камерах профессионального уровня. Это немного глупо, так как большие пиксели на камерах высокого класса собирают гораздо больше света и имеют лучшую оптику, чем смартфоны. Но немногие из нас таскают с собой эти большие камеры, а объединение пикселей может улучшить качество фотографий с камеры вашего смартфона.
Как работает биннинг пикселей?
Чтобы лучше понять объединение пикселей, вы должны знать, как выглядит датчик изображения цифровой камеры. Это кремниевый чип с сеткой из миллионов пикселей (технически называемых фотосайтами), которые улавливают свет, проходящий через объектив камеры. Каждый пиксель регистрирует только один цвет: красный, зеленый или синий.
Цвета расположены в шахматном порядке в специальной шахматной доске, называемой шаблоном Байера, который позволяет цифровой камере реконструировать все три значения цвета для каждого пикселя, что является ключевым шагом в создании того JPEG, которым вы хотите поделиться.
Схема объединения пикселей Samsung.
На этой диаграмме показано, как датчик изображения на 108-мегапиксельной камере Samsung Galaxy S20 Ultra получает группы пикселей 3x3 для включения объединения пикселей. Эта технология позволяет камере делать фотографии с высоким разрешением при ярком освещении или снимки с более низким разрешением при тусклом свете.
Объединение данных от нескольких маленьких пикселей на датчике изображения в один виртуальный пиксель большего размера действительно полезно в условиях слабого освещения, когда большие пиксели лучше справляются с шумом изображения и лучше передают цвет. Когда на улице ярче, света достаточно для того, чтобы отдельные пиксели работали сами по себе, предлагая снимок с более высоким разрешением или увеличенный вид.
Объединение пикселей обычно объединяет четыре реальных пикселя в один виртуальный пиксель «бин». Но линейка Galaxy S Ultra от Samsung использовала группу реальных пикселей 3x3 в один виртуальный пиксель, и южнокорейская компания, вероятно, примет биннинг 4x4 с Galaxy S23 Ultra.
Когда вы должны использовать высокое разрешение или объединение пикселей?
Большинство людей будут довольны снимками с более низким разрешением, и мы рекомендуем это по умолчанию после тестирования новых телефонов Samsung Galaxy. IPhone от Apple не будет делать даже 50-мегапиксельные снимки, если вы специально не включите эту опцию во время съемки в высококачественном формате изображения ProRaw, а Google Pixel 7 Pro вообще не предлагает полных 50-мегапиксельных фотографий.
12-мегапиксельные снимки обеспечивают лучшую производительность при слабом освещении, но они также позволяют избежать чудовищных размеров файлов изображений с полным разрешением, которые могут сожрать память на вашем устройстве и в онлайн-сервисах, таких как Google Photos и iCloud. Например, образец снимка, который мы сделали, имел размер 3,6 МБ при разрешении 12 мегапикселей с объединением пикселей и 24 МБ при разрешении 108 мегапикселей без объединения.
Фотоэнтузиасты, скорее всего, захотят использовать полное разрешение, когда это возможно. Это может помочь вам определить далеких птиц или сделать более драматические фотографии природы удаленных объектов. И если вы любите печатать большие фотографии (да, некоторые люди до сих пор печатают), большее количество мегапикселей имеет значение.
Делает ли 108-мегапиксельный Samsung Galaxy S21 Ultra фотографии лучше, чем 61-мегапиксельная профессиональная камера Sony A7r V?
Нет. Размер каждого пикселя на датчике изображения также имеет значение, наряду с другими факторами, такими как объективы и обработка изображений. Есть причина, по которой Sony A7r V стоит 3898 долларов, а S22 Ultra — 1200 долларов, а также может запускать тысячи приложений и совершать телефонные звонки.
Пиксели датчика изображения представляют собой квадраты, ширина которых измеряется в миллионных долях метра или микронах. Человеческий волос имеет диаметр около 75 микрон. На Samsung Isocell HP2 виртуальный пиксель на 12-мегапиксельном снимке имеет размер 2,4 микрона. В 200-мегапиксельном режиме размер пикселя составляет всего 0,6 микрона. Однако на Sony A7r V размер пикселя составляет 3,8 микрона. Это означает, что Sony может собирать в два с половиной раза больше света на пиксель, чем телефон с HP2 Ultra в 12-мегапиксельном режиме биннинга, и в 39 раз больше, чем в 200-мегапиксельном режиме полного разрешения — значительное улучшение качества изображения.
Тем не менее, телефоны развиваются быстрее, чем традиционные камеры, и сокращают разрыв в качестве изображения. Также помогают технологии вычислительной фотографии, такие как объединение нескольких кадров в один снимок, и другие приемы обработки программного обеспечения, которые стали возможными благодаря мощным телефонным чипам. Вот почему профессиональный фотограф может делать фотографии со смартфона при слабом освещении, которые можно было бы делать со штативом с его цифровой зеркальной фотокамерой. Датчики изображения в смартфонах становятся все больше и больше, чтобы улучшить качество.
Почему пиксельный биннинг популярен?
Потому что миниатюризация сделала возможными еще более мелкие пиксели. «То, что подтолкнуло к биннингу, — это новая тенденция субмикронных пикселей», — сказал Деванг Пател, старший менеджер по маркетингу Omnivision, ведущего производителя датчиков изображения. Наличие большого количества этих пикселей позволяет производителям телефонов, отчаянно пытающимся выделить свой телефон, хвастаться большим количеством мегапикселей и видео 8K. Биннинг позволяет им похвастаться, не жертвуя чувствительностью при слабом освещении.
Можно ли снимать в RAW с биннингом пикселей?
Это зависит от телефона. Любителям фотографии нравится гибкость и качество необработанных фотографий — необработанных данных датчика изображения, упакованных в файл DNG. Но не все телефоны выдают необработанное фото в полном разрешении. У iPhone 14 Pro это есть, а у Pixel 7 Pro, например, нет.
Ситуация усложняется тем фактом, что программное обеспечение для необработанной обработки, такое как Adobe Lightroom, ожидает необработанные изображения, данные о цвете которых поступают в традиционном шаблоне Байера, а не пиксельные ячейки, сгруппированные в участки 2x2 или 3x3 одного цвета.
Однако у Isocell HP2 есть хитрый трюк: он использует технологию искусственного интеллекта для «перемозаики» групп пикселей 4x4, чтобы построить традиционную цветовую шахматную доску шаблона Байера. Это означает, что можно снимать необработанные фотографии с полным разрешением 200 мегапикселей, хотя еще неизвестно, будет ли эта опция доступна в поставляемых смартфонах.
Каковы недостатки объединения пикселей?
По словам Джадда Хипа, старшего директора компании Qualcomm, производящей чипы для мобильных телефонов, для сенсора того же размера 12 реальных мегапикселей будут работать немного лучше, чем 12 мегапикселей, объединенных в бины. Датчик, вероятно, также будет дешевле. А когда вы снимаете в полном разрешении, требуется дополнительная обработка изображения, что сокращает срок службы батареи.
Действительно, стоимость сенсора биннинга пикселей, а также требования к батарее и вычислительной мощности являются причинами, по которым этот вариант используется в основном на телефонах более высокого класса.
Для фотографий с высоким разрешением вы получите лучшую резкость с помощью обычного шаблона Байера, чем с датчиком биннинга, использующим группы пикселей одного цвета 2x2 или 3x3. Но это не такая уж проблема. «С помощью нашего алгоритма мы можем восстановить от 90% до 95% фактического качества изображения Байера», — сказал Патель. Сравнивая два подхода на изображениях, вы, вероятно, не сможете заметить разницу за пределами лабораторных испытаний со сложными ситуациями, такими как тонкие линии.
Если вы забыли переключить телефон на биннинг пикселей, а затем будете делать снимки с высоким разрешением в темноте, качество изображения страдает. Apple автоматически использует биннинг пикселей, чтобы делать снимки с более низким разрешением, избегая этого риска.
Могут ли обычные камеры использовать объединение пикселей?
Да, и, судя по некоторым конструкциям полнокадровых датчиков от Sony, ведущего производителя датчиков изображения на данный момент, они когда-нибудь это сделают.
Каково будущее объединения пикселей?
Возможны несколько вариантов развития. Сенсоры очень высокого разрешения с биннингом 4x4 пикселя могут распространиться на более дорогие телефоны, а менее экзотический биннинг 2x2 пикселя распространится на телефоны более низкого уровня.
Другое направление развития — улучшенный HDR или расширенный динамический диапазон, фотография, которая захватывает лучший диапазон ярких и темных данных изображения. Маленькие сенсоры телефонов с трудом улавливают широкий динамический диапазон, поэтому такие компании, как Google и Apple, объединяют несколько снимков для создания HDR-фотографий с помощью вычислений.
Но объединение пикселей означает новую гибкость на уровне пикселей. В группе 2x2 вы можете выделить два пикселя для обычной экспозиции, один — для более темной экспозиции, чтобы захватить блики, такие как яркое небо, и один — для более яркой экспозиции, чтобы запечатлеть детали в тенях.
Действительно, Samsung HP2 может таким образом распределить обязанности между пикселями для HDR-изображений.
Omnivision также ожидает улучшений автофокуса. В более ранних конструкциях каждый пиксель закрывался собственной микролинзой, предназначенной для сбора большего количества света. Но теперь одна микролинза иногда также охватывает группу 2x2, 3x3 или 4x4. Каждый пиксель под одной и той же микролинзой получает несколько иной вид сцены, в зависимости от его положения, и эта разница позволяет цифровой камере рассчитать фокусное расстояние. Это должно помочь вашей камере удерживать объект съемки в резком фокусе.