Nvidia Rubin CPX: новый GPU для моделей с миллионом токенов контекста и архитектура disaggregated inference
А ты когда-нибудь задумывался, как выглядят «мозги» современных ИИ-моделей, которые работают с контекстом размером больше миллиона токенов? Оказывается, чтобы удерживать в памяти столько информации и при этом не тормозить, нужна совсем другая архитектура. Вот недавно в 2025 году Nvidia анонсировала революционный графический процессор Rubin CPX, который как раз заточен под такие сверхдлинные контексты. И без преувеличения - это целый рывок в области AI-инфраструктуры.
Сижу, читаю официальный блог Nvidia и думаю: «эх, ну вот, опять они что-то изобрели, что изменит правила игры». Rubin CPX - не просто очередной GPU, это целая микроархитектура CPX, построенная по принципу MCM или мульти чипового модуля. Представь себе четыре вычислительных чипа, объединённых с IO-кристаллом, плюс 2 ТБ очень быстрой HBM3e-памяти на каждый модуль. Все эти чудеса сделали, чтобы эффективно обрабатывать модели с контекстом больше 1 миллиона токенов.
Оказывается Rubin CPX не просто прибавляет мощности, а предлагает архитектуру под названием disaggregated inference. Идея - отделить ядро модели, то есть вычислительные GPU, от узлов хранения контекста, тех самых гигантских объемов памяти NVCache на 8 ТБ. Группа GPU держит непосредственно миллион токенов в памяти, а остальные в это время занимается вычислением новых партий. Эта схема не только снижает накладные расходы на передачу данных, но и равномерно загружает память, что при работе с такими масштабами контекста становится жизненно важным.
Последствия? До 2,5 раза больше throughput в задачах с миллионным контекстом по сравнению со старыми «звёздами» Nvidia, типа A100 или H100, и при этом экономия электроэнергии достигает 40%. Представляешь, сколько это значит для дата-центров где всё решают каждый ватт и каждая миллисекунда! А в пиковых нагрузках на генерацию видео, аудио или кода Rubin CPX стал в три раза быстрее прежних решений. Какая симфония мощности и эффективности!
А ещё интересно, как Nvidia вписала Rubin CPX в свою экосистему. Поддержка Triton Inference Server и TensorRT уже привычна, но внимание стоит уделить оптимизациям для популярных AI-фреймворков PyTorch и TensorFlow с адаптивным управлением памятью. Кроме того, Rubin CPX заряжен под работу с крупными AI-моделями: Llama 3, GPT-4 Turbo Long Context и Meta’s LLaMA 2 - причём контекст может достигать двух миллионов токенов при объединении нескольких GPU.
Теперь задачи вроде генерации часов видео или анализа сотен тысяч файлов кодового репозитория из разряда фантастики перешли в разряд реальности. Представь: AI, который может вести реальный-тайм перевод семичасовой лекции или стенографировать судебное заседание без потери метки времени и смысла - вот где настоящие прорывы! И всё это благодаря инновационной архитектуре, использующей NVLink-C2C с пропускной способностью до 1,2 ТБ/с и самым современным 3-нанометровым техпроцессом TSMC N3P.
Да, и не стоит забывать о Vera Rubin NVL144 CPX платформе, которая сочетает 144 графических процессора Rubin CPX с 36 CPU Vera, обеспечивая ошеломляющие вычислительные мощности. Это уже почти сценка из фантастики, где миллионы токенов обрабатываются одновременно, а мы просто сидим и слушаем, как шпарит железо.
Мне кажется, что Jensen Huang, глава Nvidia, точно понимал, почему стоит называть Rubin CPX «меняющим правила игры для задач с миллионами токенов». Он подчеркнул, что революционный disaggregated inference открывает дверь к новым уровням масштабируемости ИИ-систем, будь то изучение огромных баз кода, генерация видео или сложные научные симуляции. Интересно, а что ты бы сделал с таким мощным инструментом? А я бы полез в исследование диджитал твиннов и анализ геномных данных - вот где диапазон применения действительно бесконечен.
Теперь о том, когда всё это станет доступным. Пилотные поставки Rubin CPX выбраны на третий квартал 2026 года, а массовый выход на рынок ожидается к концу 2026 года. Цена за карточку с 2 ТБ HBM3e стартует примерно от 30 тысяч долларов. Да, не дешево, но для дата-центров и крупных AI-разработчиков это как купить ключ к двери в будущее. Кто-то скажет: «эх, дорого», но в мире, где каждое ускорение работы AI модели - это дни и недели разработки, такой GPU это инвестиция во время и результат.
А что, если представить себе будущее, где поддержка сверхдлинного контекста становится нормой, а disaggregated inference - это не прорыв, а устоявшаяся архитектура? Тогда, возможно, станет возможным оцифровать и непрерывно анализировать любой длительный поток информации: лекции, встречи, судебные процессы - всё в едином когнитивном архиве. Может, мы лишь на пороге понимания машин с памятью «почти как у человека»?
Мне кажется, что новинки вроде Nvidia Rubin CPX - это именно тот случай, когда технологии загружают мозг новыми возможностями и одновременно заставляют задумываться над бесконечностью человеческой фантазии и запросов к машинам. Эх, как много ещё предстоит открыть - особенно когда GPU уже могут с лёгкостью удерживать и обрабатывать миллионы точек данных, единичных токенов - кирпичиков современного знания.