Страх перед ИИ-пузырем не ослабил энтузиазма венчурных капиталистов в отношении кремниевых стартапов: MatX, Axelera и SambaNova привлекли более $1,1 млрд. — theregister.com
Стартапы, занимающиеся разработкой чипов для ИИ, во вторник совокупно привлекли более миллиарда долларов нового капитала, что свидетельствует о том, что венчурные капиталисты по-прежнему воодушевлены перспективой бросить вызов доминированию Nvidia, несмотря на все разговоры об ИИ-пузыре.
MatX, основанная в 2022 году инженерами Google Рейнером Поупом и Майком Гантером, получила львиную долю этих средств. Стартап собрал 500 миллионов долларов в рамках раунда финансирования серии B под руководством венчурных фирм Jane Street и Situational Awareness LP.
Стартап планирует выпустить свой первый чип — ускоритель, оптимизированный для больших языковых моделей (LLM), под названием MatX One — позднее в этом году. В то время как многие ИИ-стартапы, такие как Groq, dMatrix и SambaNova, сосредоточились на инференсе, MatX заявляет, что их чип сможет выполнять все задачи: предварительное обучение, обучение с подкреплением, а также предварительное заполнение и декодирование при инференсе.
Помимо этого, конкретные детали о чипе остаются скудными. Компания заявляет, что разделенный систолический массив чипа обеспечит наивысшую производительность в «FLOPS на мм²» и возможность масштабирования до «сотен тысяч чипов».
Говоря о масштабе, компании, безусловно, понадобится много кремния, если она хочет уместить новейшие LLM в SRAM.
По сравнению с HBM, используемой AMD или Nvidia, SRAM на порядки быстрее. MatX ожидает, что их первый чип сможет выдавать более 2000 токенов в секунду для большой 100-слойной модели типа «смесь экспертов» (mixture of expert models).
Недостаток SRAM в том, что она не очень эффективна с точки зрения занимаемого пространства. Самые большие современные кристаллы могут вместить лишь несколько сотен мегабайт этого типа памяти, оставляя место для вычислений.
MatX не первый, кто идет по этому пути. Cerebras обошла это ограничение, создав чип размером с кремниевую пластину, а для Groq это была игра чисел: хотите запустить большую модель? Просто добавьте (сотни) больше чипов. MatX, похоже, заимствует ту же стратегию.
Однако, в отличие от Groq или Cerebras, MatX также будет использовать HBM — просто не для хранения весов модели, если это возможно. Вместо этого, по словам MatX, HBM будет использоваться для хранения кэшей «ключ-значение» (KV-кэшей) модели, которые отслеживают состояния модели между сессиями. (KV-кэши можно рассматривать как кратковременную память модели.)
Сочетая SRAM и HBM таким образом, MatX полагает, что их чип сможет достичь как огромной пропускной способности графических процессоров, так и скорости разработок на базе SRAM. И теперь у них больше денег, чтобы это доказать.
Axelera привлекает $250 млн для масштабирования ИИ от периферии до дата-центров
Также во вторник голландский стартап Axelera объявил о привлечении четверти миллиарда долларов в новом раунде финансирования под руководством Innovation Industries для развития разработки своих энергоэффективных ИИ-ускорителей на базе RISC-V.
В отличие от MatX, которая целится прямо в горло Nvidia, амбиции Axelera гораздо скромнее. Их ИИ-ускорители Europa и Metis разработаны в первую очередь для энергозависимых периферийных задач, таких как компьютерное зрение и робототехника.
Однако, сосредоточившись сначала на периферии, компания стремится разработать вычислительную архитектуру, которая сможет эффективно масштабироваться для решения любых задач ИИ/МО, будь то на периферии или в дата-центре.
Компания уже продемонстрировала прогресс в этом направлении. Новейший чип Axelera, Europa, может похвастаться производительностью до 629 TOPS в INT8, питаясь от 64 ГБ DRAM с пропускной способностью 200 ГБ/с. С точки зрения вычислений это сопоставимо с Nvidia A100 при потреблении менее одной шестой мощности — 45 Вт. Тем не менее, он все еще отстает от почти шестилетнего ускорителя по объему памяти (80 ГБ HBM2E) и пропускной способности (2 ТБ/с).
И это для чипа, который в основном предназначен для периферии. Компания работает над новым чипом, призванным обеспечить еще более высокую производительность. Этот чип, получивший кодовое название Titania, разрабатывается в партнерстве с программой ЕС EuroHPC Digital Autonomy with RISC-V in Europe (DARE), которая предусматривает создание отечественной альтернативы американским чипам для суперкомпьютеров.
SambaNova получает $350 млн на фоне сделки с Intel
Наконец, SambaNova получила денежный вливание в размере 350 миллионов долларов от Vista Equity, Cambium Capital и инвестиционного фонда Intel для вывода на рынок своих ускорителей следующего поколения на основе потоковой обработки данных (dataflow).
Все подробности мы опубликовали здесь, но, если кратко, финансирование было объявлено одновременно с многолетним сотрудничеством, в рамках которого стартап по производству чипов будет интегрировать Xeon от Chipzilla в свои ИИ-серверы.
Компания также представила новый ИИ-ускоритель SN50, который SoftBank начнет развертывать в своих японских дата-центрах с конца этого года. ®
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Tobias Mann