Вот что получилось: 768 GB VRAM + 8x RTX Pro 6000 (4 Workstation, 4 Max-Q) + Threadripper PRO 9955WX + 384 GB RAM... Монстрик, локальный. До 100 токенов в секунду (300 символов) на реально могучих ИИ (GLM). Точной цены автор не назвал. В комментариях люди прикидывают, что 8 таких карт это примерно 80 000 долларов только за GPU, а сам автор отдельно сравнивает, что система уровня B200 с похожим объёмом VRAM выходит примерно 300 000–400 000 долларов. Дорогое хобби, надо признать. Русский ИТ бизнес
8x RTX Pro 6000 - сборка. Вот что получилось: 768 GB VRAM + 8x RTX Pro 6000 (4 Workstation, 4 Max-Q) + Threadripper PRO 9955WX + 384 GB RAM...
Монстрик, локальный. До 100 токенов в секунду (300 символов) на реально могучих ИИ (GLM).
Точной цены автор не назвал. В комментариях люди прикидывают, что 8 таких карт это примерно 80 000 долларов только за GPU, а сам автор отдельно сравнивает, что система уровня B200 с похожим объёмом VRAM выходит примерно 300 000–400 000 долларов. Дорогое хобби, надо признать.
