Группа исследователей из нескольких университетов объединила усилия для разработки нового метода восстановления старых изображений с использованием глубокого обучения.
Содержание:
- Результаты работы модели
- Математическое описание
Результаты модели
Результаты экспериментов показали, что новая модель способна успешно восстанавливать чистые изображения со старых фотографий.
Обнаружение царапин:
Глобальное восстановление:
Улучшение лица:
Видео:
Математическое описание
В своей статье “восстановление старых фотографий через глубокий латентный перевод пространства" они описывают новый подход к восстановлению старых фотографий, которые страдают от серьезной деградации. Предлагаемый метод использует два вариационных автоэнкодера (VAEs), где восстановление изучается на реальных изображениях, а также синтетических парах изображений.
Первая сеть автоэнкодера обучается с реальными и синтетическими изображениями, в то время как вторая обучается на чистых изображениях. Таким образом, они пытались научиться восстанавливать поврежденные изображения в чистые.
Исследователи использовали популярный набор данных Pascal-VOC для создания синтетического набора данных старых фотографий, но вводили визуализированные реалистичные дефекты. Кроме того, они собрали около 5700 старых фотографий, чтобы создать оригинальный набор данных старых изображений. Они сравнили предложенный метод с несколькими базовыми линиями, среди которых: Pix2Pix, deep image prior models, CycleGAN и др.
Реализация метода имеет открытый исходный код и может быть найдена на Github.