Найти тему
76 подписчиков

Дайджест:


📹 ВИДЕО + АРТ 🎨

Luma: теперь можно расширять генерируемые видео кусками по 5 секунд, нажимая Extend. Тизерят инструменты для редактирования кадра. Записываемся на тест.

SD.Next: добавили поддержку PixArt-Sigma, SD3, оптимизировали потребление VRAM, и не только.

FlashSD3: дистиллированная SD3, которая похоже генерит ещё быстрее чем оригинал при это не теряя в качестве.

У NerfStudio появился UI на Gradio.

Hugging Face: их эксплорер для моделей и лор переехал на домен lorastudio.co.

Img.ly: выпустили удалятор фона на WebGPU. Работает не идеально, но работает. Отчёт.

Imgflip: можно генерить мемы и подписи на них. Под капотом Dalle и какая-то GPT.

Babylon.js: движок для игр и рендера в вебе с поддержкой сплатов и WebGPU.

EvTexture: апскейлер зашакаленных видео.

gpu-curtains: движок для рендера на основе WebGPU с фокусом на маппинге 3D объектов к DOM элементам веб-страниц.

MOFA-Video: анимация картинок указанием траектории и выделением ключевых точек в кадре.

Rhodonite: это Web3D (WebGL2/WebGPU) библиотека, написанная на TypeScript.

Hallo: генерим говорящие головы с липсинком в неплохом качестве. Есть Comfy-нода собранная портативная версия (нужно 12 ГБ VRAM), а также колаб или демо (надо дублировать спейс). Похожее из опенсорса: V-express, DreamTalk, или MuseTalk. Живые тесты можно посмотреть тут.

Depth Anything: в версии V2 это модели для получения карт глубины, улучшилась детализация карт и скорость работы.

Chrono Depth: тоже получение глубины, но с фокусом на межкадровой консистентности.

Open Sora: генератор видео обновился до V 1.2. Улучшилось качество картинки и внедрён 3D-VAE.

MeshAnything: конвертор из сгенерированного 3D в "меш сделанный человеком".

Canva: добавили новые AI-фичи: Magic Grab для перетаскивания объектов с автогенерацией фона, Highlights для быстрого создания сниппетов к большим видео, и не только.

Adobe: пытается скормить Firefly всё больше данных. Недавно обновили пользовательское соглашение, и оно было написано размытыми терминами, словно они могли помимо облака залезть и в Photoshop/Premiere/итд у тебя на компе. Чтобы эффект был незабываемым — никакой проект нельзя было открыть, пока ты не согласишься с новыми правилами. Народу это не понравилось, и пару недель спустя Adobe вышли с разъяснениями, мол будут тренировать только на загруженном в Adobe Stock или если используется бета-версия программы. Люди жалуются и уходят, а Adobe отправляются в суд за комиссии при отмене подписки.

🎸 ЗВУК 🎸

ElevenLabs: выкатили Voiceover Studio для генерации озвучки и звуковых эффектов под видео. Удивительно, что гугл ещё не сделал такое на ютуб. У опенсорсных Coqui была такая же студия, пока они не закрыли сайт. Но гитхаб, и конкретно репозиторий XTTS, открыты, так что может кто и наваяет UI.

Scriptif.ai: локальный перевод речи в текст через WebGPU.
2 минуты