Автор собрал систему на 8 видеокартах AMD Radeon 7900 XTX, получил 192 ГБ видеопамяти, добавил 192 ГБ оперативки и поставил Intel Core i7 14700F на плате Z790, а кучу видеокарт прикрутил через PCIe switch карту с AliExpress примерно за 500 долларов, чтобы на обычной материнке это вообще завелось. Всё крутится на Windows 11 через Vulkan в LM Studio и Open WebUI, а общая цена сборки примерно 6 или 7к$. Потребление 1Квт. Скорость генерации около 200 токенов в секунду на модели GLM4.5Air q6. Зачем? Например, у вас в компании ну очень важные данные и вы не доверяете облакам. Делаете такую сборку, ставите в ДЦ и создаете контент со скоростью 500 символов русского языка в секунду. Русский ИТ бизнес
Очередной локальный монстрик для ИИ.
Автор собрал систему на 8 видеокартах AMD Radeon 7900 XTX, получил 192 ГБ видеопамяти, добавил 192 ГБ оперативки и поставил Intel Core i7 14700F на плате Z790, а кучу видеокарт прикрутил через PCIe switch карту с AliExpress примерно за 500 долларов, чтобы на обычной материнке это вообще завелось.
Всё крутится на Windows 11 через Vulkan в LM Studio и Open WebUI, а общая цена сборки примерно 6 или 7к$. Потребление 1Квт. Скорость генерации около 200 токенов в секунду на модели GLM4.5Air q6.
Зачем? Например, у вас в компании ну очень важные данные и вы не доверяете облакам. Делаете такую сборку, ставите в ДЦ и создаете контент со скоростью 500 символов русского языка в секунду.
