Дайджест: 📹 ВИДЕО + АРТ 🎨 Runway: улучшили генерацию на основе картинок, добавили раздел с историей генераций, внесли правки в контроль камеры и движения, а также добавили возможность расширить уже сгенерённую ранее картинку. Колаб для latent consistency model (LCM), чтобы быстро генерить картинки и видео. Плюс генерация в реальном времени через SD, также через LCM. На Snapdragon Summit тоже показали генерацию в реальном времени, только на телефоне без интернета и на 1 картинку уходит меньше секунды. Orillusion: обновился до v 0.7 опенсорсный бесплатный игровой движок на основе WebGPU. FreeNoise: метод для генерации длинных видео на основе VideoCrafter. Cuebric: генерируем реалистичный 2,5D фон для видео. Moonvalley: добавили к генерации видео сид и негативные промты для контроля. CSM: можно бесплатно натренировать свою text-2-image лору через их дискорд бота. PixArt-α: генератор картинок по качеству метящий в сторону SD и Midjourney. SEINE: генерим видео из картинки с хорошей четкостью и стабильностью. Пока без кода. ZeroNVS: генерация 3D и 360 сцен по картинке у нас уже были, а вот нерфы по одной картинке это что-то новое. Игра Super Godot Galaxy прямо на Hugging Face. Тут коллекция AI-игр. Twelve Labs: у которых годный сервис по поиску нужного футажа через его описание, выпустили модель Pegasus-1 для генерации детального описания видео и выжимки по нему. 🎸 ЗВУК 🎸 YouTube Music: теперь можно генерить обложку своим плейлистам. AudioSet: модель для динамической разметки аудиоданных. 🤖 ЧАТЫ 🤖 QMoE: архитектура взаимодействия LLM-экспертов, позволяющая запустить LLM с более 1 триллиона параметров на 8x3090. Для сравнения по слухам у GPT-4 тоже гидра из экспертов каждый по 175B параметров, с общим числом параметров 1,5 триллионов или больше. К Mistral пришили SeamlessM4T и теперь с ним можно общаться голосом на 100 языках. Есть и колаб. HuggingFace: выпустили Alignment Handbook для наставления LLM моделей генерить нужным образом, и выкатили модель Zephyr-7B, которая на некоторых тестах показывает себя лучше ламы 70B. Min-K% Prob: тестируем была ли модель натренирована на данных, защищённых авторским правом. XAgent: новый AI-агент, который умеет планировать и выполнять задания, и работает изолированно через Docker. TogetherComputer: выпустили датасет RedPajama V2 на основе 100B текстов из 84 снимков сети от CommonCrawl. Microsoft: библиотека FP8-LM для эффективной и распределённой тренировки LLM. Исследования: * Рассматриваем оффлайн RLHF для LLM. * Beyond U — ускоряем диффузионные модели и делаем их легче. * Обучение на своих ошибках делает AI-модели рассудительнее. 💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude