Higgsfield объявила набор добровольцев, готовых поделиться внешностью ради запуска нового цифрового музыкального лейбла. Компания предлагает загрузить фото и дать согласие на использование лица в проектах. В них алгоритмы создают артистов с уникальными чертами и голосами. Так организаторы хотят сформировать целый пул виртуальных исполнителей, которые будут петь, сниматься в клипах и зарабатывать как настоящие звезды.
Платформа приглашает участников для формирования библиотеки образов. На основе нескольких снимков система строит детализированную 3D-модель головы, оживляет ее с помощью генеративных нейросетей и синхронизирует речь с движением губ. В работу включены алгоритмы, отвечающие за передачу мимики и жестов, что позволяет делать ролики почти неотличимыми от живой съемки. Голос при этом синтезируется отдельно: применяется модель преобразования речи, которая подгоняет тембр и интонации под заданный стиль.
Организаторы обещают, что участники получат возможность монетизировать свой облик. Речь идет о проценте с доходов лейбла и доступе к закрытым фичам. Для верификации нужно подтвердить личность через соцсети и подписать договор, где прописывается, как образ может использоваться. Однако юристы обращают внимание: пока неясно, какие механизмы защиты будут работать в случае неправомерного применения данных.
Техническая часть проекта выглядит впечатляюще. В основе — гибрид из генеративно-состязательных сетей (GAN) и трансформеров. Первая отвечает за фотореалистичность картинки, вторая — за правильное построение последовательности движений и точность в синхронизации аудио и видео. Для ускорения вычислений Higgsfield применяет распределенные GPU-фермы, где один ролик рендерится за минуты, хотя ранее подобные задачи занимали часы. Система умеет создавать клипы даже из одного снимка и короткого текста-подсказки.
Компания базируется в Сан-Франциско, ранее привлекла финансирование от венчурных фондов и сейчас активно ищет партнеров. Команду собрали из специалистов с опытом работы в крупных соцсетях и медиасервисах, что помогает быстро внедрять идеи и выводить их на рынок. Стартап уже генерировал клипы в стиле кино, где от человека требуется лишь загрузить картинку и задать тему.
В случае успеха проекта мы можем получить целую плеяду цифровых артистов, а правила использования внешности станут предметом серьезных споров. Для волонтеров ключевое — внимательно читать условия и понимать, в какой степени они передают права. В перспективе технологии могут использоваться не только для песен, но и для рекламы, игр и даже кино.
Ранее мы писали о том, что виртуальные ИИ-стримеры начали вытеснять людей из «профессии».