В «Яндексе» придумали способ улучшить видеоряд старых фильмов или мультфильмов, доступных в сети только в плохом качестве, разработав для этого технологию DeepHD.
В блоге компании заявили, что отыскать в архивах нужную пленку и отсканировать ее заново не всегда возможно. Более реальный вариант в этом случае – увеличить изображение, используя технологии компьютерного зрения. Нейронные сети, улучшающие качество изображений и фотографий, уже существуют и обозначаются термином super-resolution. В «Яндексе» эту технологию интерпретировали по-своему.
Как это работает
Отличительная особенность технологии DeepHD в том, что она умеет обрабатывать как картинки, так и видео.
Обработка осуществляется в два этапа, на каждый из которых приходится своя нейронная сеть. На первом этапе картинка готовится к обработке и «избавляется» от помех. Далее она поступает к другой нейронной сети – генератору, выполняющему основную работу и выдающему большую картинку в хорошем качестве вместо маленькой.
Нейросеть-генератор в качестве образцов использует картинки, уже доступные в высоком разрешении. Их уменьшают и пропускают через генератор, чтобы получить пару больших изображений: настоящее и искусственное.
Обучение генератора контролируют еще две нейронные сети: классификатор и дискриминатор. Первая следит за тем, чтобы генератор не добавил в картинку лишних деталей, а вторая отвечает на вопрос «Настоящая ли картинка?». Если дискриминатор путает искусственную картинку с настоящей, то генератор хорошо справился со своей задачей.
Где применяется
Технология DeepHD помогает «Яндексу» улучшать разрешение кинофильмов и мультипликации не только на главной странице, но и в результатах поиска. Технология работы с видеорядом такая же, как со статичным изображением, когда вместо полученной маленькой картинки нейросеть выдает большую.
Напомним, что ранее ученые технологического университета Карнеги-Меллона научили нейросеть оперативно и реалистично передавать мимику и действия персонажа из одного видео в другое. Происходит это с помощью неконтролируемых алгоритмов машинного обучения, называемых генеративными состязательными сетями (GAN). Технология часто используется при подделке фотографий.