80 подписчиков
Взглянем, что нового в демократизации доступа к AI.
DistriFusion: ускоряем с помощью распараллеливания генерацию изображений без значительного ухудшения в качестве. Чем выше разрешение, тем больше прирост в скорости. Нечто похожее на эту распределёнку.
Qualcomm: выпустили сразу 95 моделей с фокусом на работу на мобильных устройствах (смартфоны, IoT, XR). У каждой модели узкая специализация: апскейлинг, сегментация, генерация текста, итд. Другой важный анонс от Qualcomm в следующем посте.
GaLore: подход для тренировки 7B моделей на одной видюхе с 24ГБ VRAM. В отличие от трени LoRA моделей, здесь нет потери параметров и минимизировано потребление памяти, в то время как производительность и эффективность показывают высокие результаты.
Fuyou: если 7В мало, то ловим фреймфворк для эффективного файнтюна 100В+ моделей на бюджетных видюхах. Работает через оптимизацию NVMe SSDs —> CPU коммуникации ради максимального использования видюхой компьютерных мощностей и обмена данными.
Microsoft: представили метод BitNet для тренировки 1-битных моделей, которые значительно менее прожорливы, чем крупные, но при этом быстрее и не уступают в качестве. Данное исследование имеет наибольше количество голосов из всех бумаг на хаггинге. Код скоро опубликуют.
DiPaCO: подход асинхронной распределённой тренировки с фокусом на поддержания работоспособности даже, когда какие-то из нод выдают ошибки или падают.
Hugging Face: опубликовали исследование Embedding Quantization, об использовании бинарной и скалярной квантизации для уменьшения в разы потребления оперативной и дисковой памяти, сократив расходы, при этом не жертвуя производительностью. (спс @nameusert2)
Эмад покинул Stability AI, а перед этим ушли три ключевых сотрудника (сейчас совет директоров ищет временного CEO). Из твиттера читается, что он будет двигаться в сторону децентрализованного AI и похоже в связке с блокчейн. Он не раз высказывал интерес к уходу от централизации и распредёлнному запуску моделей, а также рою мелких AI на телефоне для решения задач. Посмотрим.
1 минута
27 марта 2024