Gimlet Labs привлекла $80 млн в рамках Серии А для технологии, позволяющей ИИ одновременно работать на чипах NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix. — techcrunch.com
Компания Gimlet Labs создала то, что она называет первым и единственным «мультикремниевым облаком для инференса» — программное обеспечение, которое позволяет рабочей нагрузке искусственного интеллекта одновременно выполняться на разнообразных типах оборудования. Оно способно распределять работу приложения ИИ как между традиционными ЦП, так и между оптимизированными для ИИ ГП, а также системами с большим объемом памяти.
«Мы, по сути, работаем на любом доступном оборудовании», — сказал Асгар в интервью TechCrunch.
Один агент может объединять несколько шагов, и каждый из них «требует разного оборудования: инференс ограничен вычислительной мощностью; декодирование — памятью; а вызовы инструментов — сетью», — пишет ведущий инвестор Тим Талли из Menlo в своем блоге о финансировании.
Ни один чип пока не может делать все, но по мере выпуска нового оборудования и перепрофилирования устаревающих ГП «мультикремниевый парк готов — ему не хватает только программного уровня для его работы». Именно это, по мнению Талли, и предлагает Gimlet Labs.
Если сохранится текущая тенденция к увеличению вычислительных мощностей, по оценкам McKinsey, к 2030 году расходы на центры обработки данных составят почти 7 триллионов долларов. Асгар утверждает, что приложения используют уже развернутое оборудование лишь «от 15 до 30 процентов» времени.
«Другой способ взглянуть на это: вы тратите впустую сотни миллиардов долларов, просто оставляя ресурсы простаивать», — сказал он. «Наша цель состояла в том, чтобы понять, как сделать рабочие нагрузки ИИ в 10 раз более эффективными, чем когда-либо, уже сегодня».
Поэтому он и его соучредители, Мишель Нгуен, Омид Азизи и Натали Серрино, занялись созданием оркестрационного программного обеспечения, которое сегментирует агентские рабочие нагрузки, чтобы их можно было одновременно распределять по всем типам оборудования.
Gimlet Labs заявляет, что надежно ускоряет инференс ИИ в 3–10 раз при тех же затратах и энергопотреблении. Gimlet также может сегментировать саму модель, чтобы она работала на разных архитектурах, используя лучший чип для каждой части модели.
Компания уже наладила партнерские отношения с производителями чипов NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix.
Продукт Gimlet, поставляемый в виде программного обеспечения или через API в собственное облако Gimlet Cloud, предназначен не для рядовых разработчиков приложений ИИ. Он ориентирован на крупнейшие лаборатории моделей ИИ и центры обработки данных.
Компания публично запустилась в октябре, заявив о выручке в восьмизначной сумме с самого начала (то есть не менее 10 миллионов долларов). Асгар сообщил, что за последние четыре месяца его клиентская база выросла более чем вдвое и теперь включает крупного производителя моделей и чрезвычайно большую компанию, предоставляющую облачные вычисления, хотя он отказался назвать их имена.
Соучредители ранее вместе работали в Pixie — стартапе, который создал инструмент открытого исходного кода для наблюдаемости Kubernetes. Pixie была приобретена New Relic в 2020 году, всего через два месяца после запуска с раундом Серии А на 9 миллионов долларов под руководством Benchmark. (Технологии Pixie теперь являются частью организации с открытым исходным кодом, курирующей Kubernetes.)
После того как Асгар случайно встретил Талли около года назад и получил ангельские инвестиции от профессоров Стэнфорда, ему начали звонить венчурные капиталисты. После запуска на стол Асгара легло соглашение об условиях. Когда венчурные капиталисты узнали, что Асгар рассматривает предложения, «мы получили довольно большой рой финансирования», и раунд был быстро переподписан, сказал он.
С учетом предыдущего посевного раунда стартап привлек в общей сложности 92 миллиона долларов, в том числе от целого ряда ангелов, таких как Билл Кофран из Sequoia, профессор Стэнфорда Ник МакКеон, бывший генеральный директор VMware Рагу Рагхурам и генеральный директор Intel Лип-Бу Тан. В настоящее время в компании работают 30 человек.
Среди других инвесторов — Factory, которая возглавила посевной раунд, Eclipse Ventures, Prosperity7 и Triatomic.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Julie Bort