Когда железо становится лишним: нейросети готовятся заменить процессоры камер в смартфонах
Корейская компания Chips&Media и израильский стартап Visionary.ai представили «первый в мире полностью AI-процессор обработки изображений», который должен заменить аппаратные ISP — те самые чипы, что десятилетиями отвечали за превращение сырых данных с сенсора в красивую картинку. Об этом сообщает издание PetaPixel. Разработчики переносят весь процесс формирования изображения в программное обеспечение, работающее на нейропроцессорах, что открывает возможность настраивать, обучать и обновлять обработку видео в реальном времени. Хотя технология применима и к фотосъемке, компании сосредоточились на видео в условиях недостаточного освещения — именно там классические решения упираются в свои физические ограничения.
Традиционные процессоры обработки изображений представляют собой аппаратные блоки с жестко заданной архитектурой, которую производители практически не меняют после выхода с завода. Новый подход обрабатывает RAW-данные напрямую на нейропроцессоре или графическом ускорителе, причем вся настройка происходит программно — через обновления по воздуху, без изменения самого кремния. Компания обучает отдельную нейросеть под каждый сенсор, но автоматизированная платформа создает новую модель за несколько часов, используя лишь короткие видеоролики. Это кардинально сокращает время интеграции по сравнению с длительной настройкой классических решений.
Для iPhone подобная технология могла бы означать революцию в обновлениях камеры: Apple смогла бы улучшать качество съемки существующих моделей через обычные апдейты iOS, не дожидаясь выхода нового поколения смартфонов. Представьте, что ваш двухлетний айфон внезапно получает улучшенную ночную съемку или более качественный HDR просто после установки очередной версии системы.
Наибольший прирост качества заметен в сложных условиях — при слабом освещении, высоком динамическом диапазоне и смешанных источниках света. Стандартные ISP подавляют шум, теряя детали, а затем применяют алгоритмы повышения резкости ко всему кадру, что создает артефакты в виде ореолов и размытия пикселей. Нейросетевой конвейер оптимизирует восприятие качества целиком, адаптируясь к динамике сцены и уменьшая эффект двоения без потери естественных деталей при движении объектов.
Правда, у AI-обработки есть оборотная сторона — энергопотребление. Орен Дебби, сооснователь Visionary.ai, утверждает, что система работает на компактных NPU и потребляет лишь немного больше традиционных ISP, причем разрыв сокращается. Учитывая мощные нейропроцессоры в чипах серии A и M от Apple, компания из Купертино теоретически могла бы внедрить подобное решение уже в ближайших поколениях iPhone, получив возможность дифференцировать модели не только железом, но и программными алгоритмами обработки, которые можно обновлять и совершенствовать постфактум.
