Поговорим о технологиях обработки изображений и каким образом революция глубокого обучения изменит эту область в ближайшие несколько лет.
Революция глубокого обучения связана во многом с прогрессом именно в области обработки изображений, ведь одна из наиболее популярных глубоких моделей сверхточная нейронная сеть изначально создавалась именно как инструмент для эффективной обработки картинок, для распознавания образов. И лишь затем достижения которые были получены в этой области были распространены на другие сферы, например на область работ со звуком.
За последние 10 лет удалось получить очень большое количество практических результатов в этой области. Первая задача наверное самая классическая, эта задача распознавания образов, по сути перед нейронной сетью стоит цель сказать, есть ли на изображение объект того или иного класса, распознать фотографии на которых есть кошки или собаки, или любой другой объект, который нас интересует.
Задача называется задача классификации и именно успехи при решении этой задачи привели во многом к утверждению модели сверхточной нейронной сети. На сегодняшний день при помощи сверхточных нейронных сетей удалось решить огромное количество других задач например задачи регрессии, мы можем посмотреть на фотографии человека и попробовать угадать его возраст или какой-то другой параметр, который по фотографии можно установить.
Также это задача по манипуляции с изображениями - одной из таких задач является так называемая семантическая сегментация, суть этой задачи заключается в том, что нам нужно выделить границы определенных объектов, присутствующих на изображении, скажем выделить человеческий силуэт, выделить границы автомобилей или других объектов, которые расположены на картинке.
Третий класс это задача восстановления утраченных частей изображения. В 2017 году был большой прогресс в данном направлении, на сегодняшний день неплохо нейронные сети справляются с созданием изображение с нуля. Была выпущена нашумевшая работа посвященная созданию системы, которая способна генерировать графики людей на основе большого набора фотографии знаменитостей. Существует большое количество моделей, способных эффективно манипулировать с картинками, я уже не говорю здесь о фильтрах например, которые предназначены определённым образом улучшить изображение.
Есть системы, которые способны масштабировать изображение, увеличив их размер, опять же домысливать то, каким образом объект будет выглядеть более в высоком разрешении. Это различные тематические манипуляции. Сегодня нейронные сети могут нарисовать зимние картинки той или иной местности, домыслить как эта же местность будет выглядеть летом. Как солнечные картинки будут выглядеть если будет идти дождь и так далее.
Когда-то программирование начиналось с того, что люди писали программный код в виде фактически машинных команд, затем появились более совершенные языки программирования, которые сделали процесс программирования более приближенным к манипуляциям с человеческим языком, затем появились языки высокого уровня. Люди, которые их используют, они манипулируют всё с более более абстрактными компонентами, если говорить об обработке изображений, то здесь будет прослеживаться похожая линия развития. Когда-то люди резали ножницами картинки, накладывали друг на друга и создавали коллажи.
Им на смену пришли цифровые инструменты, которые осуществлять более широкий спектр манипуляции и современный графический пакет позволяет разделить изображение на слои, применять к ним сложные фильтры, разглаживания или повышение резкости, смена тона и так далее.
Я думаю, что через 5-7 лет типичный инструмент для обработки изображений будет включать в себя все те возможности, которые сегодня предоставляют нейросетевые модели. Представьте себе Photoshop будущего, в котором вы загружаете картинку и программа сразу же выделяет объекты и слои, на этом загруженном изображение, и изображение на слои автоматическим при этом каждый объект находится в отдельном слое. И приводит все мысленные и нет манипуляции.
Спасибо за внимание.