Ученые из Массачусетского технологического института обучили нейросеть коррелировать голоса людей с определенными чертами их лиц. Для этого они проанализировали множество роликов YouTube с публичными выступлениями. Высота и тембр голоса зависят от формы носа, скул и челюсти, которые являются естественными акустическими резонаторами — поэтому, имея достаточно обширную соответствующую базу, можно научить нейросеть соотносить звучание со строением лица.
Нейросеть Speech2Face пока не может нарисовать точный портрет человека по одному голосу, но уже с высокой точностью выделяет оратора среди нескольких вариантов лиц, еще точнее определяет расу и этническую принадлежность. Правда, есть нюанс — человек должен говорить на родном языке. Акценты сбивают систему с толку.
