SambaNova привлекла $350 млн для развития архитектуры dataflow. Пятое поколение RDU SN50 нацелено на снижение скорости и стоимости по сравнению с B200 от Nvidia. — theregister.com
Компания SambaNova, занимающаяся инфраструктурой для ИИ, привлекла 350 миллионов долларов для развития своей архитектуры потоковой передачи данных (dataflow), которую она позиционирует как альтернативу системам ИИ на базе графических процессоров (GPU).
Часть средств поступила от Intel Capital, что положило конец слухам о желании Chipzilla приобрести SambaNova. Среди других участников этого раунда финансирования — Vista Equity, Cambium Capital и несколько других венчурных фондов, которые ожидают высокой доходности, когда SambaNova выведет на рынок свое последнее поколение реконфигурируемых блоков потоковой передачи данных (RDU).
Intel сблизится с этим стартапом благодаря «многолетнему» сотрудничеству, направленному на предоставление клиентам альтернативы GPU для развертывания генеративного ИИ. Естественно, это означает, что новые RDU от SambaNova будут использовать процессоры Xeon, но, помимо этого, альянс будет включать совместную разработку аппаратного и программного обеспечения.
«У нас есть очень конкурентоспособный продукт. У них есть масштаб, у них есть капитал, у них есть клиенты, с которыми мы можем сотрудничать», — заявил генеральный директор SambaNova Родриго Лян изданию El Reg.
Intel не просто отстает на арене генеративного ИИ — гигант, возможно, упустил свой шанс полностью после неоднократных просчетов с линейками своих дата-центровых GPU и Gaudi.
«По мере развития и расширения нашего участия в сфере ИИ от периферии до облака мы решаем эти задачи различными способами, чтобы оставаться ключевым игроком в экосистеме, а также защищать и наращивать долю рынка», — заявил в своем заявлении Кеворк Кечикян, исполнительный вице-президент группы дата-центров Intel.
SambaNova планирует начать поставки своих ускорителей SN50 позднее в этом году, при этом японская SoftBank уже подписала контракт как один из первых клиентов стартапа.
SN50
Новый чип представляет собой значительное обновление по сравнению с SN40L от SambaNova образца 2024 года. Компания заявляет, что SN50 обеспечит в 2,5 раза более высокую производительность в 16-битном формате с плавающей запятой и в 5 раз более высокую производительность в FP8. Это эквивалентно 1,6 и 3,2 петафлопс соответственно.
SambaNova заявляет, что ее фирменная трехуровневая иерархия памяти, которая позволяет ей переключаться между моделями за доли секунды и эффективно выгружать кэши «ключ-значение», остается в значительной степени неизменной. Каждый RDU оснащен 432 МБ встроенной SRAM, 64 ГБ памяти HBM2E с пропускной способностью 1,8 ТБ/с и от 256 ГБ до 2 ТБ памяти DDR5.
Гибкость в последнем пункте, несомненно, принесет SambaNova очки, учитывая стремительный рост цены на память.
HBM2E может показаться странным выбором, учитывая его возраст, но Лян стремится гарантировать, что его компания сможет поставлять продукцию во время роста цен на память. «С точки зрения затрат важно убедиться, что мы не ввяжемся в борьбу за цепочку поставок», — сказал он.
Несмотря на значительное улучшение по сравнению с предшественником, SN50 не выглядит впечатляюще на бумаге, по крайней мере, по сравнению с современными GPU. Он будет обеспечивать около 64 процентов плотных вычислений в формате FP8, треть емкости HBM и менее четверти пропускной способности памяти по сравнению с поколением Blackwell от Nvidia, которому почти два года.
Однако важно помнить, что заявленные «пиковые» значения FLOPS и пропускной способности — это не то же самое, что достижимые FLOPS или пропускная способность. SambaNova утверждает, что ее архитектура потоковой передачи данных, направленная на снижение накладных расходов на перемещение данных за счет перекрытия вычислений и коммуникации, позволяет ей использовать меньшее количество менее мощных ускорителей.
В случае с SN50 SambaNova заявляет, что может обеспечить скорость генерации на одного пользователя до пяти раз выше по сравнению с B200 от Nvidia.
Заявлениям SambaNova было бы трудно поверить, если бы она уже не была одним из самых производительных поставщиков инференса. По данным Artificial Analysis, ускорители SN40L от SambaNova способны обслуживать большие языковые модели (LLM), такие как MiniMax M2 с 230 миллиардами параметров, со скоростью до 378 токенов в секунду, что более чем на сто токенов в секунду быстрее, чем у ближайшего конкурента на базе GPU.
Тем не менее, платформы инференса на базе GPU догоняют, поскольку стойки NVL72 от Nvidia получают более широкое распространение. Производительность SambaNova также варьируется от модели к модели, поэтому она не является явным лидером во всех сценариях. Следует также отметить, что Nvidia, похоже, уловила суть потоковой передачи данных, приобретя команду инженеров Groq и лицензировав ее архитектуру в конце прошлого года.
Хотя SambaNova заявляет, что ей не нужны сверхплотные стойки, чтобы быть конкурентоспособной, компания спроектировала свою новую архитектуру с учетом масштабируемости.
Для SN50 один рабочий узел инференса теперь может масштабироваться до 256 ускорителей, что более чем в 3,5 раза превышает количество, найденное в стойке NVL72 от Nvidia. Но, имея всего 16 воздушных RDU и 15–30 кВт на стойку, SambaNova упаковывает свои чипы не так плотно.
Этому большему домену масштабирования способствуют более быстрые интерконнекты. SambaNova сообщает нам, что оснастила каждый RDU пропускной способностью 2,2 ТБ/с в двунаправленном режиме между чипами через коммутируемую фабрику.
Повышение утилизации
Производительность инференса — не единственное преимущество SambaNova. Большой пул памяти DDR5, доступный каждому ускорителю, позволяет SambaNova быстро перемещать модели клиентов и кэши «ключ-значение» — по сути, кратковременную память модели — в память и из нее за миллисекунды.
«По мере того как мы переходим в мир агентов, мы начинаем видеть, что кастомизация этих моделей приводит к очень неэффективной работе этих стоек», — сказал Лян. «Все хотят свои собственные модели, но они не используют свои модели на том же уровне, что и общая модель».
Иными словами, когда все обращаются к общей модели, относительно легко поддерживать высокую утилизацию, но когда все запускают свою собственную модель, сервис-провайдерам становится намного сложнее управлять этим.
«Экономика для каждого игрока сегодня не так хороша, как должна быть для масштабирования», — сказал Лян. «Большую часть 2025 года мы посвятили тому, чтобы довести продукт до того состояния, когда на одну стойку у нас будет правильная экономика для инференса, чтобы сервис-провайдеры могли фактически получать прибыль от обслуживания токенов».
Достигнув этого, Лян полагает, что в будущем SambaNova сосредоточится на продаже инфраструктуры, а не на следовании по пути таких компаний, как Groq, по созданию выделенного облака для инференса. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann