В современных камерах оптика это только половина результирующего изображения — многое зависит от того, как захваченные кадры обработает железо + софт вашего девайса и на каких настройках. Причём, это относится не только к киноделам и фотографам, использующим физические линзы: занимающиеся 3D реконструкцией и рендерингом CG/VFX специалисты, а также инженеры по компьютерному зрению (CV) тоже используют линзы в своей работе, только они цифровые.
Если на снятых кадрах есть нежелательные искажения перспективы или виньетка, то камеру нужно откалибровать. Однако со стороны софта моделирование и оптимизация параметров является проблемой: линзы бывают разных видов, с разными оптическими эффектами и характеристиками. Так что на стороне софта нужна обширная, гибкая, и разносторонняя модель линз с достаточным количеством параметров, которая могла бы обратить оптические искажения.
Тут и идут в ход идут нейронные линзы. Принцип работы: используются инвертируемые нейронные сети (INN) для моделирования и оптимизации эффектов объектива. INN - это тип архитектуры глубокого обучения, который может моделировать сложные функции и их обратные операции. Обученная нейронная сеть может использоваться в реальном времени на камере смартфона для коррекции оптических искажений во время съемки или в постобработке.
Так как бенчмарков чисто для моделей линз (цифровых) нету как и ground truth данных, создатели сделали синтетический датасет SynLens с 400 профилями разных линз из опенсорс базы Lensfun. Из их сравнения выходит, что предложенная ими модель даёт более четкие изображения на разных настройках съёмки, включая пре-калибрацию с помощью мишеней и файн-тюнинг модели камеры во время 3D реконструкции.
Модель может быть легко интегрирована в существующие пайплайны для работы с 3D и рендеринга. А интеграция нейронных линз в смартфоны и проф камеры потенциально может улучшить качество изображений, уменьшая искажения объектива, корректируя виньетирование и повышая общую четкость и ясность изображения.
Сайт