4835 читали · 5 лет назад
Как устроена lip sync - синхронизация движения губ со звуком
Анимация лица - один из тех немногих случаев, когда классические методы её сотворения не столько нерабочие, сколько нерациональные, ведь наличие продолжительных анимаций (которые еще нужно записать) под каждый из диалогов - Сизифов труд. Конечно это не касается важных катсцен, синематиков и игр жанра "интерактивное кино", где записанные лицевые анимации занимают значимый объем. Эта статья в очередной раз коснется темы процедурной анимации, генерации меша и главное - процесса преобразования реплик из аудио-формата в движение вершин модели...
Lip Sync: оживи свои снимки!
Представь, что твоя картинка вдруг «заговорила» — губы начинают двигаться в такт твоей речи, а взгляд становится живым! Посмотри - сгенерированный Аполлон Необельведерский говорит на камеру несколько слов...жжет суровую правду! Вот это и есть Lip Sync в действии: нейросети превращают статичные изображения в реалистичные анимации. Где это использовать? • Для создания мемов и вирусного контента. • В приложениях с анимацией лиц. • Чтобы оживить старые семейные фотографии. Бесплатные инструменты, которые тебе помогут: • Avatarify — анимирует лицо на фото, добавляя движение губ и эмоции...