Apple научила ИИ вытаскивать детали из темноты там, где их уже не должно быть
Исследователи из Apple и университета Пердью разработали модель искусственного интеллекта под названием DarkDiff, которая радикально улучшает качество фотографий, сделанных в экстремально темных условиях. Работа получила название «DarkDiff: Advancing Low-Light Raw Enhancement by Retasking Diffusion Models for Camera ISP».
Вместо традиционного подхода, когда алгоритмы пытаются «вытянуть» детали уже после съемки (превращая кадры в масляную живопись с размытыми текстурами), новая технология встраивает диффузионную модель непосредственно в конвейер обработки изображений камеры. Система работает с сырыми данными сенсора, восстанавливая информацию, которая обычно безвозвратно теряется в цифровом шуме.
Суть проблемы проста: когда сенсор камеры не получает достаточно света, на снимке появляется зернистость и шум. Производители смартфонов годами пытались компенсировать это программными алгоритмами, но результат часто выглядел так, будто фото прогнали через фильтр «акварель» — мелкие детали исчезали или превращались во что-то нечитаемое. Команда Apple решила эту проблему элегантно: они взяли предобученную модель генеративного ИИ Stable Diffusion (открытую систему, натренированную на миллионах изображений) и «перепрофилировали» ее для понимания контекста темных участков фотографии. Технология использует механизм внимания к локализованным фрагментам изображения, что помогает сохранять структуру кадра и предотвращает галлюцинации — ситуации, когда ИИ начинает выдумывать детали, которых там никогда не было.
В тестах исследователи использовали реальные снимки, сделанные на камеру Sony A7SII в условиях экстремально низкой освещенности с выдержкой всего 0,033 секунды. Результаты сравнивали с эталонными фотографиями, снятыми со штатива с выдержкой в 300 раз длиннее. Система DarkDiff показала себя лучше существующих методов шумоподавления, включая модель ExposureDiffusion, восстанавливая четкие текстуры и точные цвета там, где конкуренты выдавали размытое месиво. Правда, есть нюанс: обработка требует серьезных вычислительных мощностей, так что без облачных серверов тут не обойтись — иначе батарея смартфона испарится быстрее, чем вы скажете «вычислительная фотография».
Важно понимать, что в исследовании нигде не говорится о скором внедрении технологии DarkDiff в айфоны. Тем не менее, работа демонстрирует, что Apple продолжает активно инвестировать в вычислительную фотографию — область, которая стала критически важной для всего рынка смартфонов. Покупатели хотят камеры профессионального уровня в устройствах толщиной с кредитку, и компаниям приходится компенсировать физические ограничения железа программными трюками. Посмотреть полное исследование с дополнительными сравнениями можно по ссылке.
