Программисты Центра искусственного интеллекта Samsung AI Center-Moscow, совместно со специалистами из института науки и технологий Сколково создали программу под названием Fewshot learning, создающую анимацию человеческих лиц, имея от 1 до 8 статичных кадров человека. Раньше для этого была необходима более обширная база данных изображений.
Создание реалистичной фотомодели человеческого лица — сложный процесс. Проблема заключается в том, что голова имеет высокую сложность фотометрического, геометрического и кинематического воспроизведения. К тому же очень сложно моделировать детали лица (рот, волосы и прочее). Еще один фактор сложности — человеческая предрасположенность улавливать мельчайшие отклонения в готовой модели человеческой головы. Это объясняется широкой распространенностью нефотореалистичных аватаров, используемых в телеконференциях.
Созданная программа имеет возможность воспроизводить реалистичные модели даже портретов. Алгоритмы синтезируют изображения головы одного человека, но с фрагментами из разных видеороликов либо используют ориентиры лица другого человека. Для разработки программы использовали многочисленные видео с известными личностями, прошлые разработки в генеративно-состязательном моделировании (там нейросеть сама додумывала детали лица, по сути дорисовывая его) и машинное мета-обучение, где каждый системный элемент запрограммирован на решение определенной задачи. Наиболее точная анимация создается, если используются от 32 изображений.