Исследователи из Академии наук Китая и Гонконгского городского университета разработали систему искусственного интеллекта, которая может рисовать лица людей, используя только грубые наброски для начала. Система имеет множество применений - от полицейской деятельности до медицины, образования и распознавания лиц.
В последние годы исследователи разработали все более совершенные вычислительные методы, такие как углубленные алгоритмы машинного обучения, для выполнения различных задач. Одна из задач, которую пытаются решить ученые, - создавать изображения на основе эскизов. Обычно этот процесс включает в себя «восстановление» реалистичного изображения конкретных объектов, таких как лица, на основе рисунков, сделанных руками человека. Для этого алгоритмы машины анализируют тысячи эскизов и идентифицируют изображения (фотографии) объектов, на которых основаны графики.
DeepFaceDrawing позволяет пользователям создавать потрясающе реалистичные портреты, вводя только бесплатные, непрофессиональные, грубые наброски, такие как контурные карты. Пользователь не обязан иметь художественные навыки или опыт программирования.
Программа основана на самообучении машины, чтобы заполнить промежутки между основными набросанными компонентами, такими как глаза, нос и рот. Огромная база данных черт лица содержит подробную информацию о заполнении пробелов. «Вероятностные формулы» помогают определить вероятность того, что конкретные детали будут встроены в общее изображение.
В последнее время появилось много технологий, которые предлагают пользователям возможность создавать изображения из элементарных рисунков, таких как pix2pixHD, Lines2FacePhoto и iSketchNFill. Сравнение DeepFaceDrawing с этими программами показывает пугающие результаты: ему удается создавать очень реалистичные портреты, которые с большой точностью соответствуют оригинальным изображениям, нарисованным людьми.
Исследователи во главе с Шу-Ю Ченом объяснили разницу между программами в недавно опубликованном в Интернете отчете:
Новейшие методы «глубокого преобразования изображения в реалистичное изображение» позволяют быстро создавать изображения лиц по эскизам. Однако существующие решения имеют тенденцию заполнять эскизы, что означает, что для хорошего конечного результата требуются профессиональные эскизы или даже карты в качестве входных данных. Чтобы решить эту проблему, мы применили нашу ключевую идею - неявно моделировать сформированное пространство правдоподобных изображений лица и синтезировать изображение лица в этом пространстве, чтобы приблизиться к исходному эскизу.
Как описано в отчете, программа по существу использует входные эскизы в качестве «мягких ограничений». Таким образом, он способен создавать высококачественные изображения лица даже из грубых и / или неполных эскизов.
Команда планирует продемонстрировать DeepFaceDrawing на конференции SIGGRAPH в этом году в июле. Одноименная группа, основанная в 1969 году, проводит ежегодные конференции, посвященные новейшим разработкам в области компьютерной графики. В этом году мероприятие будет виртуальным "благодаря" COVID-19.
DeepFaceDrawing имеет большой потенциал для использования правоохранительными органами, где быстрые и точные наброски подозреваемых неоценимы в поисках. Кроме того, программа имеет потенциал для использования в приложениях распознавания лиц, различных медицинских процедурах, таких как пластическая хирургия, а также при обучении.
В своем отчете команда китайских ученых заявила, что скоро опубликует код проекта. Это исследование было опубликовано на прошлой неделе после отчета, в котором говорится, что турецкие исследователи из факультета компьютерных наук Стамбульского технического университета использовали глубокие нейронные сети для рисования лиц людей с высокой точностью, основываясь только на изображениях на их ушах.
Подписывайтесь на канал Яндекс-Дзен «DailyNet», заходите на наш сайт DAILYNET.RU и первым узнавайте новости в научно-технической сфере.