Функция Super Res Zoom была частью системы Google Pixel с момента выпуска Pixel 3, но в Pixel 7 Pro компания Google отмечает, что сделала большой шаг вперед, и объясняет, как работает эта функция.
Функция Super Res Zoom на телефонах Google Pixel - это инструмент, использующий комбинацию аппаратных средств, программного обеспечения и алгоритмов машинного обучения для создания изображений в высоком разрешении, которые сохраняют детали даже при 20-30-кратном увеличении. Эта функция является частью экосистемы Google Pixel уже несколько лет, и хотя на протяжении всего этого времени было несколько заминок в ее работе, она постоянно улучшается.
“Подход Pixel к зуму сочетает в себе современное оборудование, кучу потрясающего программного обеспечения, а также искусственный интеллект”, - пишет в блоге Александр Шиффхауэр, менеджер по продуктам Pixel Camera and AI Group. “Это означает, что качество изображения хорошо работает при различных настройках зума - а не только при одном конкретном, например, 5x или 10x”.
“Сочетание HDR+ с брекетингом и ремозаикой позволяет получать фотографии с высоким разрешением и низким уровнем шума”.
Эти инструменты в сочетании с ремозаикой позволяют системе обрезать внутреннюю часть 48-мегапиксельной матрицы, чтобы вывести 12-мегапиксельное изображение при 10-кратном увеличении, где оно анализируется, преобразуется в формат, с которым могут работать HDR+ и брекетинг, где общий шум уменьшается, что в конечном результате, по словам компании, дает вам лучшее из двух миров - высокое разрешение и низкий уровень шума.
По словам Google, система Super Res Zoom использует цифровой зум камеры (который обычно приводит к зернистым изображениям) и захватывает несколько фотографий с разным уровнем зума, чтобы объединить их в одно высококачественное изображение. После захвата нескольких кадров одного и того же изображения с разным зумом Pixel выравнивает эти изображения и накладывает их друг на друга, чтобы исправить все ошибки, которые могли возникнуть в процессе захвата. Используя алгоритмы машинного обучения, Pixel создает файл высокого разрешения, содержащий все детали, которые мог бы увидеть человеческий глаз, если бы пользователь находился физически ближе к объекту съемки.
Именно алгоритмы машинного обучения отвечают за уменьшение шума и повышение общей резкости изображения.
“Когда вы увеличиваете масштаб и делаете фотографию, ваш телефон фактически адаптируется к диапазону зума и делает несколько снимков примерно в одно и то же время”, - говорит сотрудник Google Молли Макхью-Джонсон. “После нажатия кнопки спуска затвора программное обеспечение и алгоритмы машинного обучения работают вместе, чтобы создать наилучшую версию всех этих снимков”.
Телекамера использует HDR+ с брекетингом для объединения этих изображений, чтобы создать наилучшее изображение с общей экспозицией, сохраняя при этом лучшие детали, запечатленные на нескольких кадрах. По словам компании, функция HDR+ включается автоматически, когда пользователь активирует любой уровень зума. При этом съемка нескольких изображений происходит настолько быстро, что пользователь даже не замечает, что это происходит. Алгоритм Fusion Zoom выполняет выравнивание и объединение кадров, а алгоритм Zoom Stabilization выявляет и устраняет возможное дрожание, возникающее в процессе съемки.
Эта комбинация инструментов поможет обеспечить превосходный вид фотографий, независимо от того, сняты ли они при 2-кратном, 5-кратном или 15-кратном увеличении. После 20-кратного зума новые системы Pixel 7 Pro будут использовать новый ML-апскейлер, включающий нейронную сеть для улучшения детализации фотографий. “Чем больше вы увеличиваете масштаб, тем больше телекамера опирается на ИИ”.
Компания утверждает, что именно такая глубокая интеграция аппаратного, программного обеспечения и искусственного интеллекта позволяет им создавать файлы Super Res Zoom: “Вы можете уверенно увеличивать масштаб, чтобы получить любую перспективу, которую хотите, и вы можете знать, что ваши фотографии получатся прекрасными”.