30 подписчиков

😎 F LITE — 10B T2I НА ЛИЦЕНЗИРОВАННЫХ ДАННЫХ

1 мая 20251 мая 2025

~1 мин

😎 F LITE — 10B T2I НА ЛИЦЕНЗИРОВАННЫХ ДАННЫХ F LITE — это открытая модель, созданная на основе лицензированного датасета, содержащего 80 миллионов изображений. Это попытка создать авторски безопасную модель, но результаты пока что далеки от идеала. Сейчас качество генерации оставляет желать лучшего, а примеры выглядят скорее как эксперименты с "черипиком". 🌈 Технически это DiT с 10 миллиардами параметров, обученная на 64 GPU H100. Для настройки гиперпараметров использовался μP. Также в процессе обучения применили трюк из тренировки GPT для value-residual learning. Помимо основы, есть и доработанная версия для генерации текстур. 🎨 Несмотря на то, что основная часть обучена на данных без претензий, VAE использовался от Flux Schnell, который обучался на всем, что есть в интернете. В итоге эксперимент интересен, но результаты пока слабые из-за небольшого объема данных и краткосрочности обучения. 🚀 Демо | Веса

F LITE — это открытая модель, созданная на основе лицензированного датасета, содержащего 80 миллионов изображений. Это попытка создать авторски безопасную модель, но результаты пока что далеки от идеала. Сейчас качество генерации оставляет желать лучшего, а примеры выглядят скорее как эксперименты с "черипиком". 🌈

Технически это DiT с 10 миллиардами параметров, обученная на 64 GPU H100. Для настройки гиперпараметров использовался μP. Также в процессе обучения применили трюк из тренировки GPT для value-residual learning. Помимо основы, есть и доработанная версия для генерации текстур. 🎨

Несмотря на то, что основная часть обучена на данных без претензий, VAE использовался от Flux Schnell, который обучался на всем, что есть в интернете. В итоге эксперимент интересен, но результаты пока слабые из-за небольшого объема данных и краткосрочности обучения. 🚀

Демо | Веса