Найти тему
71 подписчик

Дайджест новостей:


📹 ВИДЕО + АРТ 🎨

Runway: в GEN-1 теперь можно генерить видео до 15 сек, вышло приложение на iOS, а также в web-версии появилось превью генераций, чтобы вы могли выбрать в какую сторону режиссировать.

Phygital+ вышли в открытую альфу, дано 150 бесплатных генераций в месяц. ControlNet и Dreambooth на премиуме.

Исследователи оптимизировали SD 1.4 для запуска на мобилках. На генерацию арта 512х512 на Samsung S23 Ultra ушло 12 секунд. Можно почесать за ушком своей радостной GTX 1050.

SD + ControlNet теперь в Blender. Дополнительные гайды.

Плюс SD в After Effects, а также в Maya.

Total-Recon: генерация новых углов съёмки камеры (вид из глаз, со спины, сверху) и прицепливание 3D-объектов к персонажам.

HOSNeRF: создание видео, в котором объект может перемещаться в кадре, а зритель менять точку просмотра на 360° вокруг него. Это уже второе free-view video (FVV) за две недели и тоже заюзан NeRF.

F2-NeRF: быстрый рендер нерфов со свободным перемещением камеры и высоким качеством деталей.

AMT: новый метод интерполирования видео (повышения к/с) с очень плавными результатами.

Anything-3D: выделение объектов с помощью Segment Anything и преобразование их в 3D, NeRF, или изменения угла камеры.

Segment Anything 3D: схоже с предыдущим вариантом, но если там объекты выделялись из фото, то тут из NeRF сразу в 3D. Заодно Inpaint Anything, в котором можно инпейтить объекты внутри NeRF.

🎸 ЗВУК 🎸

AudioGPT: обширная аудио-модель для генерации и распознавания музыки, звуковых эффектов и речи.

Video-2-SoundFX: генерация звуковых эффектов к видеоряду.

Bark: генерация текстом музыки и звуковых эффектов, а также клонирование голоса. Работает на разных языках.

Whisper JAX: оптимизировали Whisperдля работы в 70 раз быстрее.

Waveformer: выделение инструментов в звуковом ряде или исключение шумов.

🤖 ЧАТЫ 🤖

Hugging Face: выпустили своего чат-бота HuggingChat. Под капотом OpenAssistant 30B на основе ламы.

ChatGPT 3.5 начали давать доступ к интернету. Фича пока не развернута на все аккаунты.
Дайджест новостей:  📹 ВИДЕО + АРТ 🎨  Runway: в GEN-1 теперь можно генерить видео до 15 сек, вышло приложение на iOS, а также в web-версии появилось превью генераций, чтобы вы могли выбрать в какую
1 минута