DeepSeek открывает исходный код библиотеки универсального матричного умножения, 300 строк кода ускоряют V3, R1, R2, как сообщается, появится
Подходит для обычных моделей ИИ и MoE. Открытая неделя DeepSeek уже идет третий день (отчеты за первые два дня см. в "Связанном чтении" в конце). Сегодняшний проект с открытым исходным кодом называется DeepGEMM, это библиотека FP8 GEMM, поддерживающая плотные и экспертные смешанные (MoE) GEMM, которая обеспечивает поддержку обучения и вывода V3/R1, достигая вычислительной производительности 1350+ FP8 TFLOPS на GPU Hopper. Конкретно, DeepGEMM - это библиотека, направленная на реализацию лаконичного...