Найти в Дзене
Цифровая родословная

Как я искала предка на фото с помощью нейронных сетей

Современные технологии — невероятная вещь! Например, нейронные сети позволяют улучшить, починить и раскрасить старые фотографии и еще много чего другого, о чем можно бесконечно рассказывать и показывать. Эта заметка, а, точнее, фоторепортаж о том, как я пыталась найти прапрапрадеда Якова Стефановича Маркова на старинных фото и что из этого вышло. Неопознанные фотографии В семейном архиве были обнаружены несколько фотографий - 2 фото прямого предка Якова 1851 года рождения, похожих между собой. Яков Стефанович (Степанович) из неизвестно как возникшей деревни Глумилово Вышневолоцкого уезда, Кузнецовской волости, Тверской губернии, ныне Тверская область, Фировский район. А еще обнаружились и два групповых снимка. Очень хотелось понять, кто на этих изображениях Яков, и что это вообще за изображения. Цветовые чудеса Есть различные инструменты на основе нейронных сетей, которые позволяют без каких-либо усилий улучшить старое фото, убрать потертости и раскрасить. Про каждый способ проще буде
Оглавление

Современные технологии — невероятная вещь! Например, нейронные сети позволяют улучшить, починить и раскрасить старые фотографии и еще много чего другого, о чем можно бесконечно рассказывать и показывать.

Эта заметка, а, точнее, фоторепортаж о том, как я пыталась найти прапрапрадеда Якова Стефановича Маркова на старинных фото и что из этого вышло.

Неопознанные фотографии

В семейном архиве были обнаружены несколько фотографий - 2 фото прямого предка Якова 1851 года рождения, похожих между собой. Яков Стефанович (Степанович) из неизвестно как возникшей деревни Глумилово Вышневолоцкого уезда, Кузнецовской волости, Тверской губернии, ныне Тверская область, Фировский район.

Ранний снимок Якова Маркова
Ранний снимок Якова Маркова
Более поздний снимок Якова Маркова
Более поздний снимок Якова Маркова

А еще обнаружились и два групповых снимка. Очень хотелось понять, кто на этих изображениях Яков, и что это вообще за изображения.

Цветовые чудеса

Есть различные инструменты на основе нейронных сетей, которые позволяют без каких-либо усилий улучшить старое фото, убрать потертости и раскрасить. Про каждый способ проще будет сделать отдельную статью, а для начала я просто покажу, что получилось.

После такой обработки люди и места просто оживают на фото, они выглядят как в фильме! Нажмите на стрелку справа на фото и посмотрите, как оно было-стало. Некоторым людям, кстати, нравятся только необработанные изображения, а мне нравятся и до, и после.

А вот второе фото, также нажимайте на стрелку справа, чтобы увидеть разницу. Какие-то детали становятся более четкими, правда, они могут оказаться слегка "додуманными" нейросетью.

Поиск глазами

Самый очевидный вариант - постараться определить кто же на снимках Яков самостоятельно, с помощью еще нескольких родственников мы решили что это вот этот выделенный человек в белом.

Добавьте описание
Добавьте описание

Поиск совпадений программно

Другая нейронная сеть позволяет найти похожие лица на разных фото! Конечно, нет 100% уверенности, что она сделает это верно, но нейронная сеть может заметить и учесть все детали, которые пропустит человек, вот таким образом она нашла минимум 6 совпадющих лиц на двух групповых снимках.

Правда, программа не нашла совпадений по тому, кого три человека выбрали как наиболее похожего на нашего предка Маркова. Ну что ж, человеческий мозг все равно сложнее и может находить совпадения там, где машины их не найдут.

Фотомонтаж

Решила применить еще одну технологию — наложить лицо выбранного человека со всех фото и плавно скрывать и показывать их друг за другом, чтобы понять, один ли человек на фото, совпадают ли детали.

Это анимация наложения, смотрите, как один исчезает, второй появляется!

-7

А получилось то, что эти люди разные, у них ничего не совпадает — ни глаза, ни уши, ни высота головы!

Отгадали?

Поступило еще одно предположение поступило от родственницы Марковой, что Яков — это вот этот человек:

-8

Давайте попробуем и с ним проделать такие же операции. Сначала посмотрим, есть ли он в совпадениях лиц на обоих групповых фото? О, есть!

-9

А теперь попробуем совместить два исходных портрет и кусочки группового.

Я сначала совместила 2 фотографии, а потом добавилаеще 2, и вот результат, смотрите анимацию ниже:

-10

При совмещении глаз, бровей, ушей, рта, носа, головы — они совпадают! И в таком случае это действительно может оказаться Яков!

А как по вашему мнению, это действительно один и тот же человек?

Это пятая статья из серии про исследование истории Марковых. Начало можно прочитать здесь.
Предыдущая статья Где искать данные о том, переезжали ли ваши предки.