Micron начала поставлять образцы модулей SOCAMM2 емкостью 256 ГБ, что позволяет достигать емкости до 2 ТБ LPDDR5X на ЦП в ИИ-серверах. — tomshardware.com
Большая часть разговоров о скорости в дата-центрах ИИ вращается вокруг самих ускорителей, обсуждения токенов в секунду и тому подобного. Однако битва за производительность ИИ ведется на нескольких фронтах, и один из них — это емкость памяти и энергоэффективность. Сегодня Micron представила, по всей видимости, первые в отрасли модули SOCAMM2 емкостью 256 ГБ — это значительный шаг вперед по сравнению с лучшими на данный момент 192-гигабайтными модулями, выпущенными всего шесть месяцев назад. Компания заявляет, что уже отгружает образцы заказчикам, которые, несомненно, будут рады перспективе подключения 2 ТБ памяти к каждому ЦП. В качестве одного из главных примеров, типичный для Nvidia стоечный сервер NVL72 теперь может вмещать 72 ТБ оперативной памяти для своих 36 ЦП. Увеличение плотности на 33% по сравнению с SOCAMM2 предыдущего поколения — это само по себе отличная новость, но это не единственное преимущество этого форм-фактора. Новые модули должны обеспечить на 66% лучшую энергоэффективность по сравнению со стандартными RDIMM, и они совместимы с набирающим популярность (и необходимым) жидкостным охлаждением для ИИ-серверов. По данным Micron, новые планки — первые, в которых используются ее монокристаллические чипы LPDDR5X емкостью 32 Гбит (4 ГБ), где «монокристаллический» означает, что вся память и соответствующая схема являются частью одного кристалла. Учитывая целевой рынок для этих больших SOCAMM2, фирма заявляет о реальном улучшении производительности помимо просто плотности и энергоэффективности. Наличие такого большого объема ОЗУ, доступного одному процессору, позволяет моделям ИИ использовать гораздо большие контекстные окна. Следовательно, это помогает сократить критически важный показатель TTFT (Time To First Token), что означает, что боты начинают отвечать на ваши вопросы быстрее. В будущем ИИ, где контекст — это буквально всё, каждый гигабайт памяти, расположенный ближе к xPU в системе, имеет значение, и сегодняшнее достижение Micron, несомненно, найдет применение в массивных серверных установках ИИ по всему миру, поскольку компании выделяют сотни миллиардов долларов капитальных затрат в гонке за превосходство в области ИИ. Форм-фактор SOCAMM2 является результатом партнерства между Nvidia и производителями памяти Micron, Samsung и SK hynix. Стандарт SOCAMM изначально был разработан Nvidia, но у гиганта ускорителей, по слухам, возникли проблемы с обеспечением работы модулей без перегрева на серверах с высокой плотностью. Генеральный директор Дженсен Хуанг мудро объединился с теми, кто профессионально занимается производством компьютерной памяти, что привело к созданию SOCAMM2 с растущей плотностью и сниженным энергопотреблением.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Bruno Ferreira