Sync: выпустили модель React-1 для липсинка видео с контролем эмоциональности. Фичи: * Разные режимы редактирования: только рот, выражение лица, движение головы. * React-1 экспрессивнее предыдущих моделей и позволяет области рта четче следовать озвучке. * Менять эмоции можно круговым меню из 6 пресетов, или описывая нужное словами. Если не задать промт, то модель будет следовать эмоциональному контексту видео. * Движения головы могут подстраиваться под тон и скорость диалога. На вход можно подавать видео длиной до 15 секунд. В кадре должен быть 1 человек, которого хорошо видно. При этом по примерам видно, что слишком крупных планов стоит избегать ибо, чем большая часть головы задействуется, тем сильнее падает качество. Пример с Лео конечно угарный. Я не знаю под чем они были, когда решили это включить в видео. React-1 доступна только на платном тарифе. Есть API с оплатой за каждый запрос. На бесплатном тарифе в наличии lipsync-2 с халявными кредитами на $5. Сайт Анонс
Sync: выпустили модель React-1 для липсинка видео с контролем эмоциональности
11 декабря11 дек
~1 мин