Фотографии, сделанные смартфоном или камерой, зачастую являются сырьём, которое превращается в продукт для соцсетей только после обработки одним или несколькими редакторами. Как правило, даже на самое простое изменение вроде регулировки яркости уходит несколько минут. Так вот команда разработчиков из Массачусетского института технологий (MIT) и Google поставила перед собой цель автоматизировать и ускорить этот процесс.
Для этого они создали специальную систему, которая автоматически ретуширует изображения «в стиле профессиональных фотографов». В пресс-релизе отмечается, что система настолько энергоэффективна, что может работать даже на обычных смартфонах. Другая особенность новинки — скорость работы: она настолько высока, что может ретушировать фотографии прямо в режиме видоискателя. Как и всё новое и прикольное в современном мире, разработка MIT основана искусственном интеллекте. Отмечается, что нейросети для обучения уже «скормили» тысячи пар ретушированных и «сырых» фотографий.
Также известно, что безымянная система, основана на ранних разработках, которые проводились в стенах института. Изначально планировалось, что она будет работать по принципу первых версий Prisma: отправлять фотографии на сервер, а потом возвращать обработано на телефон. Однако с приходом в проект Google от этой идеи отказались в угоду быстродействия и экономии трафика мобильного интернета. «Google узнала о моей работе и сама предложила сотрудничество. Мы встретились и объединили два подхода. Идея заключается в том, чтобы перенести вычислительную нагрузку на устройство, сохранив функционал приложения. Первая цель — ускорить работу», — говорит Мишель Гарби, аспирант MIT и автор проекта.
«Эта технология может быть очень полезной для улучшения картинок в реальном времени на мобильных платформах. Использование машинного обучения для обработки фотографий — захватывающая перспектива, но пока она спотыкается об ограничения вычислительной мощности смартфонов», — говорит профессор Джон Баррон. Также он добавил, что вышеупомянутая проблема в обозримом будущем будет решена.
Презентация описанной системы пройдёт на этой неделе, на конференции по компьютерной графике SIGGRAPH 2017.