77 подписчиков

Дайджест:

📹 ВИДЕО + АРТ 🎨

ControlNet обновился до v 1.1.4. Основные изменения касаются поддержки моделей для работы с SDXL.

Появился инпейтинг в SDXL, скачиваем модель здесь. Уже добавлено в Phygital+.

TokenFlow: появился код и демо модели для редактирования видео текстом. Можно установить в пару кликов через Pinokio.

Удаляем блики на фото. Где-то плачет Джей Джей Абрамс.

ControlMat: генерируем материалы для 3D текстурирования по одному фото.

Dopelgangers: модель и датасет для сравнения объектов на фото и выяснения одинаковые они или нет.

FACET: бенчмарк, проверяющий модели компьютерного зрения на точность.

Active Neural Mapping: метод формирования роботом карты окружающей среды на лету.

M3DDM: метод для консистентного аутпейтинга видео. Кода пока нет.

City Dreamer: генерируем городские массивы в 3D. Дороги, зелёные зоны, и вода вынесены на отдельные слои. Кода пока нет.

🎸 ЗВУК 🎸

Audacity в браузере! Так, так, а если сюда прикрутить нейронки для генерации и обработки звука?

Клонирование голоса через связку Coqui + Bark. Загружаем запись целевого голоса, вводим текстовый промт, печем примерно 2 минуты, и готово.

🤖 ЧАТЫ 🤖

ModelScope-Agent: фреймворк из AI агентов, которые могут кооперировать с другими открытыми агентами и API для решения задач.

YaRN: новый метод увеличения контекста LLM. Уже есть лама 2 c контекстом 64к и 128к.

RLAIF: масштабируем LLM через фидбэк от AI.

Point-Bind & Point-LLM: мультимодалка для генерации 3D и чата по 3D объектам.

BioCoder: бенчмарк генераторов кода с фокусом на биоинформатике.

HuggingFace: представили фичу Training-Cluster-As-a-Service для аренды кластеров под тренировку

Также они выпустили эксплорер базовых моделей. Что-то вроде созвездия моделей от Стенфорда

Эффективный RLHF: уменьшаем использование памяти PPO

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude

1 минута

6 сентября 2023