В кино часто показывают не настоящих людей, а их цифровые копии. Такие создает московская студия Twin3D: сканеры делают 3D-двойников. Скоро студия выпустит приложение, в котором пользователи смогут сами создавать реалистичные аватары. Узнали у основателя и CEO компании Алексея Белокопытова , как это работает.
История Twin3d началась в 2013 году. Сначала мы делали фотореалистичные миниатюрные фигурки людей с помощью 3D-сканирования и 3D-печати. Клиенты заказывали их в качестве подарков на дни рождения и другие праздники.
Про нас быстро узнали разработчики игрового контента и спецэффектов в кино. И в 2015 году мы отказались от 3D-печати и сконцентрировались на работе с B2B-клиентами. Начали создавать цифровых актеров и реквизит для кинематографа, разрабатывать персонажей для игр и VR/AR.
Как устроен сканер
Технология называется фотограмметрия. Главное устройство — сканер, который состоит из множества синхронизированных фотоаппаратов. Сейчас в нашем сканере 170 профессиональных фотоаппаратов Canon. Фотоаппараты закреплены на 20 колоннах, которые стоят по кругу. Мы ставим объект в центр круга и с помощью освещения и одновременной съемки за долю секунды получаем массив фотографий с разных сторон. Дальше с помощью программного обеспечения собираем трехмерную модель высочайшей точности, которую не отличить от настоящего человека.
Каждый сканер уникальный
Когда мы запускали проект, подобные системы сканирования уже существовали в Европе и в Америке. Но их было немного, потому что оборудование дорогое, систему довольно сложно собирать и поддерживать.
Мы съездили в Берлин, чтобы посмотреть, как у них устроен подобный сканер. Но такие системы всегда кастомные — вы не найдете абсолютно одинаковые сканеры. Мы сделали свою вариацию системы, которую можно быстро демонтировать и перевозить. Это очень удобно для кинопроектов. Мы выезжаем на съемочные площадки и сканируем уже загримированных актеров, чаще всего массовку.
Сканировать быстрее и дешевле
Сканировать массовку экономически выгодно, потому что из десяти человек можно сделать, условно говоря, миллион.
Нарисовать реалистичного персонажа для игр затратнее. В мире есть буквально двадцать 3D-моделлеров, которые могут качественно это сделать. И, как правило, это несколько месяцев на одного персонажа. Поэтому все крупные геймдев-проекты Triple-A-качества активно используют фотограмметрию.
Что и кого можно сканировать
Сканируем не только людей. Бывают заказы на 3D-модели животных: сканировали лошадей, собак, кошек, коров. Бывают — на сканирование реквизита для компьютерных игр и кино. Для исторических кинокартин часто сканируем утварь, сундуки, оружие. Для фильма «Союз спасения» сканировали много оружия и элементы одежды наполеоновских времен. Для фантастического фильма «Вратарь Галактики» сканировали отдельные элементы одежды и аксессуары главных героев.
У нас много крупных кейсов. Мы делали сканирование для фильмов «Вторжение», «Лед-2», «Девятая», игры King’s Bounty II, платформы виртуальной реальности Sensorium XR.
Еще одно из направлений нашей работы — создание цифровых инфлюенсеров для Instagram и YouTube, то есть цифровых амбассадоров брендов. Это развивающийся тренд в сфере digital-рекламы. Сейчас мы создаем мини-сериал для соцсетей о том, как рождается аватар. Зрители не только увидят сканирование и оживление цифрового человека, но и смогут поучаствовать в его судьбе. Можно будет обсуждать характер и навыки этого персонажа. Мы хотим, чтобы он был максимально живым и естественным.
Сканер мимики
У нас есть аппарат для сканирования лица. Он меньше, концентрация камер в нем выше, отличается система освещения. Сейчас мы завершаем разработку технологии, когда камеры срабатывают не одновременно, а по определенному алгоритму. Свой алгоритм есть у освещения. Технология называется photometric stereo. С помощью нее мы будем получать normal map — модель, у которой при разном положении лица свет по-разному отражается от кожи. Как в реальности! Вы не отличите эту цифровую 3D-модель от лица реального человека.
Как сделать реалистичного человека
Фокус с кожей работает только в статике. Чтобы уйти от «зловещей долины» — так называют неприятное ощущение, которое возникает, когда человек понимает, что смотрит не на настоящего человека, а на цифровую 3D-модель, нужно обеспечить качественную 3D-анимацию. Необходимо сделать хорошо проработанный скелет, на который надевается оболочка в виде 3D-модели. Еще нужно выполнить качественную лицевую анимацию и анимацию движения — для этого используют систему захвата движений (motion capture). Эти технологии идут рука об руку с 3D-сканированием человека. И вот если все эти компоненты выполнены правильно, то мы получаем модель, которую практически невозможно отличить от реального человека.
Аватар по фотографии
С начала 2020 года мы начали разрабатывать новый продукт. К компании присоединился выпускник МФТИ и Сколтеха, специалист по data science и по компьютерному зрению Ефим Боеру. До этого он руководил командами разработки систем компьютерного зрения в Bosch и Huawei, а в Twin3d занял должность директора по технологиям.
Мы разрабатываем софт, с помощью которого пользователи смогут самостоятельно создавать точный цифровой аватар буквально по нескольким селфи. Он будет полезен для игровой индустрии — геймеры смогут за пару минут создавать собственные аватары и играть за них. Для онлайн-шопинга — покупатели будут виртуально примерять одежду. Для образовательных платформ и так далее.
Геймеры смогут за пару минут создавать собственные аватары и играть за них.
Проект победил в третьем сезоне Школы стартапов Skolkovo . В течение месяца мы учились развивать стартап от маркетинга до управления финансами.
Этот опыт ускорит разработку алгоритма. Мы планируем, что наш продукт появится на рынке в конце 2021 года.
Сейчас Twin3d ищут в команду нового проекта инженеров по компьютерному зрению, дата-сайентистов и программистов.