Как мы создали суверенный ПАК с LLM, подружив DeepSeek-R1 с отечественными процессорами и NVIDIA A100 в составе 100% отечественного сервера
Мы хотим поделиться с вами нашим опытом запуска LLM модели с открытым кодом на сервере собственной разработки. Сразу скажем, мы не сделали нечего революционного, LLM на GPU‑ускорителях запускали и используют многие. Но, запустить LLM с открытым кодом на 100% отечественном сервере, построенном на отечественных процессорах архитектуры ARM64 с двумя NVIDIA Tesla A100 в изолированном контуре, и чтобы она работала устойчиво, без падений, это оказалось нетривиальным квестом. Большие языковые модели (LLM) – это очень большие модели глубокого обучения, обученные на огромных объемах данных...