Это, конечно, не новость сейчас, что в смартфонах, по крайней мере передовых, ваши фотографии обрабатываются при помощи нейронных сетей. Но речь сейчас идёт об улучшении фотографий.
Несмотря на сумасшедшие значения мегапикселей для матриц современным мобильных устройств, они всё же уступают профессиональным матрицам большего размера, но даже с меньшим количеством пикселей. Они гораздо меньше размером, поэтому качество фото меньше, они больше зашумлены, больше искажений и ошибок. Поэтому для твоего мобильного фототворчества производители решили не изобретать более качественные матрицы, а допиливать фотки до профессионального качества.
Однако прогресс не стоит на месте и однажды качество матриц в мобильных устройствах будет таким, что они будут выдавать фотографии профессионального качества, однако тут возникает другая проблема. Для обработки таких сырых данных с матриц потребуется больше вычислительных ресурсов и памяти в устройстве. И тут нейросети могут также помочь, однако тут уже потребуется обработка для ускорения сведения изображения с разных датчиков и сжатие данных для их компактного хранения. Ну и качественная распаковка для красивого отображения.
Исследователи из Аризонского университета и Университета Вестлейк провели интересные эксперименты, сравнивая классические системы обработки изображений со своей новой системой, которая включает многомасштабную множественную выборку и нейронную декомпрессию.
Одной из главных проблем при обработке изображений является управление данными, особенно при сборе, хранении и обработке больших объемов информации. Камеры и другие датчики позволяют собирать обширные данные, но с ростом точности снимков возникают сложности в управлении этими данными. Возникает необходимость в выборке, то есть в разделении или маскировании снимков, а затем их объединении для получения приближенного к оригиналу изображения с использованием вычислительных корреляций данных.
Исследователи предложили использовать методы, основанные на нейронных сетях, для реконструкции изображений. Нейронные сети являются мощным инструментом, так как они могут выполнять оптимизацию более обобщенным способом и допускать менее сложные типы выборки, такие как многомасштабная множественная выборка. Это делает системы более компактными и легко реализуемыми.
В исследовании ученые упомянули системы CASSI (Compressive Sensing Snapshot Spectral Imaging) и CACTI (Compressive Sensing Snapshot Temporal Imaging) как примеры спектральных и временных подходов к формированию изображений моментальных снимков с кодированной апертурой.
В целом, исследование группы открывает новые перспективы в области обработки изображений и вычислительной визуализации. Их метод показывает сопоставимое качество изображений и предоставляет возможности для дальнейшего прогресса в области обработки искусственных нейронных сетей. Это может привести к улучшению качества обработки изображений и созданию более эффективных систем в будущем.