2321 подписчик
Компания AMD представила свою первую малую языковую модель AMD-135M
Новая модель AMD-135M использует технологию спекулятивного декодирования, что позволяет значительно ускорить процесс вывода, снизив потребление памяти. Тестирование показало ускорение на ускорителях AMD Instinct MI250, процессорах AMD Ryzen AI и NPU AMD Ryzen AI по сравнению с моделями без спекулятивного декодирования.
Исходный код, набор данных и веса модели AMD-135M открыты для разработчиков, чтобы они могли воспроизвести модель и помочь в обучении других малых и больших языковых моделей.
#FREEDUROV
Около минуты
28 сентября