Как правило, существует два подхода к созданию фотографий в условиях низкой освещённости. Вы можете использовать медленный затвор, для которого необходимо использовать штатив для устранения размытости. Или же Вы можете применять электронное увеличение светочувствительности камеры, которое приводит к резкому возрастанию количества артефактов и шума. В обоих случаях количество дефектов изображения неизбежно растёт с уменьшением освещённости. Даже при компьютерной фильтрации и обработке порог приемлемой освещённости оставляет желать лучшего, что уж и говорить о фотографии в полной темноте.
Но теперь появился третий путь, и его результаты поразительны. Группа учёных из Intel и Университета штата Иллинойс в Урбана-Шампейн опубликовали статью под названием "Learning to See in the Dark" на крупнейшем архиве электронных публикаций научных статей aRXiv, в которой подробно описывается технология обработки изображений на основе машинного обучения. Использование нейросетей позволяет обычным камерам получать супер-резкие снимки при очень низком освещении, без длительных выдержек или видов зернистости, связанных с электронным повышением чувствительности камеры. Предложенный инструмент пост-обработки подходит не только для фотографов, которые часто работают в условиях низкого освещения - выступлениях на концертных площадках или ночных наблюдениях за дикой природой. Цифровая природа нейросетей позволяет использовать новую технологию для улучшения качества фотографий, которые вы сделали в тёмном баре со своего смартфона.
Как и во многих других нововведениях в сфере обработки изображений, предложенное публике исследование использует методы глубокого машинного обучения для объяснения алгоритму тому, как должно быть откорректировано зашумлённое изображение. Исследователи скормили нейронной сети набор данных, содержащий 5 094 очень тёмных фотографии с короткими экспозициями, а также равное количество изображений с длительной выдержкой, которые показали, как должна выглядеть сцена с надлежащим освещением. Изображения были сняты камерами Sony a7S II и Fujifilm X-T2, которые используют разные сенсорные технологии. В своих экспериментах учёные использовали очень низкую освещённость - менее 0,1 люкса, подобный уровень освещённости во много раз темнее, чем ночные условия. При таком уровне освещения получить хоть какое-то изображение с различимыми деталями, пусть и очень зашумленное, невозможно ни на одном современном фотоаппарате, ведь для этого требуется светочувствительность свыше ISO 400 000.
По уровню яркости, чёткости и шумности изображения обработанные нейросетью фотографии значительно превосходят те, которые можно получить при помощи стандартных приёмов
При этом время обработки одного изображения занимает менее секунды, немного меняясь в зависимости от разрешения изображения и сенсора камеры. Разумеется, у предложенного авторами статьи метода пока есть и свои недостатки. Нейросеть не может обрабатывать движущиеся объекты, настраивать уровень яркости и работать с видео. Однако, цифровые камеры это, прежде всего, программное обеспечение. Разработчики обещают оптимизировать алгоритм нейросети, и недалёк тот день, когда простое обновление прошивки Вашего iPhone позволит ему соперничать с самыми дорогими камерами от Canon или Nikon.
