Одна из самых больших площадок по аренде GPU. На картинке подсветил - vast.ai. За 5$ в час получите монстра с 2 картами H200. А если готовы платить 9$ в час, то будет 2x B200.
Про H200 читал, а вот B200 (180 гб памяти) - вообще кракен в мире железа для ИИ :)
По данным MLPerf v4.1 и обзоров, B200 даёт кратный прирост: на крупных LLM‑задачах вроде GPT‑3 предобучения и LLaMA fine‑tuning ускорение составляет примерно 2 раза на GPU против H200/H100‑систем...
5$ в час = 870$ в меся или около 74 000 р. Не так уж и дорого, если у вас соответствующие задачи по требованиям к скорости. Например, около 1.2–1.8 тыс токенов в секунду можно выжимать для ИИ oss-120b на такой сборке. Это около 5000 символов русского языка в 1 секунду в генерации.
p.s. 5$ в час = 720 * 5 = ±3200$ я ошибся в оценке затрат, сорри. Цифра уже не выглядит вкусной :)
