Новая технология обработки фотографий для iPhone 11, iPhone 11 Pro и iPhone 11 Pro Max - Deep Fusion - скоро будет доступна для разработчиков в следующей бете iOS. Напомним, что последние свои модели Apple представила в сентябре. Их ключевыми особенностями в части фотографии стали новая ультраширокая камера, ночной режим и улучшенная селфи-камера.
Звучащая как название джаз-группы, данная технология, по заверению Apple, сильно улучшает детализацию фото, сохраняя уровень шумов при этом относительно низким. Ее нет в настройках, и Deep Fusion нельзя будет включить и выключить. Не будет и каких-либо индикаторов, что она работает. Яблочная компания подразумевает, что пользователь должен положиться на автоматическое применение данной опции.
На данный момент в семействе iPhone 11 по умолчанию стоит режим Smart HDR, который делает серию снимков до и после нажатия на кнопку, после чего смешивает их вместе для улучшения динамического диапазона и детализации. Если окружение слишком темное, то камера автоматически переходит в ночной режим для усиления яркости и уменьшения шумов. С Deep Fusion в условиях среднего освещения камера автоматически переключается в режим уменьшения шумов и оптимизации детализации. Deep Fusion, в отличие от Smart HDR, работает на пиксельном уровне. При использовании “телефото”-объектива на IPhone 11 Pro и iPhone 11 Pro Max камера будет переходить в этот режим особенно часто.
Это значит, что iPhone 11, iPhone 11 Pro и iPhone 11 Pro Max оптимизируют режимы для хорошей, плохой и средней освещенности. Несомненно, очень большая часть снимков делается в условиях средней освещенности (например, внутри зданий). Применение Deep Fusion будет заметно сразу. Фил Шиллер (Phil Schiller), исполнительный директор Apple, описал данную технологию как “сумасшедшая вычислительная фотография”.
Каждый раз, когда вы делаете фотографию, камера захватывает несколько изображений. Впрочем, так делает и Smart HDR. iPhone берет фото-образец, на котором размытие заметно менее всего. Затем смартфон комбинирует три стандартных значения экспозиции и одно длинное в одну “синтетическую длинную” фотографию. Далее алгоритм Deep Fusion разбивает образцовое фото и синтетическое на несколько регионов, распознавая при этом небо, стены, текстуры и части, требующие хорошей детализации (например, волосы). Затем программное обеспечение проводит попиксельное сравнение двух фотографий - всего 24 миллиона пикселей. Результаты анализа используются для определения, какие пиксели нужно использовать и как их оптимизировать для построения конечного снимка.
По утверждению Apple, весь процесс занимает секунду или около того. Однако для того, чтобы вы могли снимать непрерывно, вся информация обрабатывается только тогда, когда процессор A13 свободен. Идея состоит в том, чтобы пользователь не ждал обработки фотографии при помощи Deep Fusion.
Выход Deep Fusion запланирован всего на пару недель раньше формального анонса нового смартфона от Google Pixel 4. Также стоит отметить, что данная технология появится только на iPhone 11, iPhone 11 Pro и iPhone 11 Pro Max, поскольку для ее работы нужен процессор A13 Bionic.
