Найти тему
76 подписчиков

Дайджест:


📹 ВИДЕО + АРТ 🎨

Реалтайм генерация в SD через LCM теперь в A1111

AnimateDifff обновился и генерит 1024х1024 на 16 к/с через SDXL или лоры

Pika: продолжают тизерить свой полноценный релиз и Pixar чешет репу

Runway: добавили Motion Brush, для выделения на картинке что нужно анимировать

Midjourney: добавили стайлтюнер в анимешный Nijijourney

One-2-3-45++: обновлённая версия генератора 3D по одной картинке

Krea AI: генерация и редактирование изображения в реальном времени

Расширенная версия IP Adapter Plus для инпейтинга референса в целевое изображения

Draw a UI: делаем набросок интерфейса и генерим его

Consistency decoder от OpenAI добавлен в библиотеку diffusers

🎸 ЗВУК 🎸

Riffusion: генерим музыку, напевая мотив

Mubert: теперь можно генерить музыку из картинки

Korus: ваяем музыку по описанию настроения музыки

С помощью Whisper Large V3 + Transformers.js + Flash Attention 2 можно перевести 150 минут аудио в текст за 98 секунд

🤖 ЧАТЫ 🤖

С последними обновлениями Gradio позволяет полностью себя кастомизировать. Китайцы уже собрали свой ChatGPT в нём. Причём Gradio даёт работать в serverless режиме, редактировать код веб-приложения и делиться им

LLaVA-Plus: обновлённая версия VLM для чата по картинкам, которая может подтягивать сторонние инструменты для работы с промтом, расширяя возможности предобученной модели

Hugging Face: Gradio и Google запартнёрились для создания инфраструктуры AI-агентов. В эту же колоду партнёрка HF с Dell

Lumos: модульный фреймворк из AI-агентов для выполнения задач в вебе

Llama Factory: простой фреймворк для файнтюна ламы как Mistral, Qwen, итд)

Alibaba: готовят модель Qwen-Audio для чата по голосу, музыке и другим звукам

К изучению:
* Как сделать свой компонент в Gradio
* DiLoCo: оптимизируем распределенную тренировку для коммуникции эффективнее, чем в кластере
* FastCoT: даём LLM посмотреть в будущее, чтобы ускорить ответ на ~20%
* MART: мульти-раундовый автоматизированный редтиминг

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude
Дайджест: 📹 ВИДЕО + АРТ 🎨 Реалтайм генерация в SD через LCM теперь в A1111 AnimateDifff обновился и генерит 1024х1024 на 16 к/с через SDXL или лоры Pika: продолжают тизерить свой полноценный...
1 минута