В июле этого года на сайте Google AI была опубликована очень интересная статья, посвященная разработке масштабирования изображений (повышение разрешения изображений).
Конечно, эта технология далеко не новая (существует с 2016 года), но в данной статье пойдёт речь о её более усовершенствованной версии с применением диффузионных моделей.
Частично это "пересказ" оригинальной статьи простым и понятным языком.
Симбиоз двух подходов
Для повышения качества изображений командой разработчиков было принято решение использовать два подхода: масштабирование с помощью повторных уточнений + каскадные диффузионные модели.
Основная идея подхода масштабирования с помощью повторных уточнений (SR3):
- На вход алгоритма поступает изображение с низким разрешением (исходное изображение);
- Строится соответствующее ему изображение в высоком изображении из шума;
- К этой картинке поэтапно добавляется шум до тех пор, пока изображение не превратится в чистый шум;
- Исходное изображение сопоставляется с шумом, и процесс идёт в обратном порядке: шум удаляется до тех пор, пока изображение не станет максимально "похожим" на исходное.
Данный алгоритм был визуализирован, так что Вашему вниманию видео ниже.
Каскадные диффузионные модели, по своей сути, являются дополнением к методу SR3.
Основная идея: повышение разрешения изображения происходит поэтапно, где результат предыдущего этапа становится исходным изображением для следующего этапа.
Таким способом можно достичь повышение разрешения в 16 раз. Это означает, что из изображения всего 64x64 пикселя можно получить разрешение 1024x1024!
Также, для достижения лучшего результата, разработчики применили метод, называемый conditioning augmentation ("раздутие" данных). Говоря простыми словами, разработчики "разнообразили" обучающие выборки с помощью добавления Гауссова шума, а также размытия по Гауссу.
Подробнее про метод conditioning augmentation можно прочитать тут.
Выводы:
Новая технология, если она действительно будет работать так, как показано на демонстрационных примерах, позволит применять её в широкой области (от восстановления старых фото до улучшения систем мед. визуализации). Кроме того, сгенерированные таким способом фотографии могут использоваться для обучения других моделей повышения качества изображений.
Спасибо за внимание! А что Вы думаете о новой технологии повышения качество фото от Google?