Microsoft и Google, создающие поисковые системы на основе генеративного ИИ, являются одними из крупнейших заказчиков чипов Nvidia H100. Производители серверов утверждают, что ожидание получения последних заказов превысило шесть месяцев. Венчурные инвесторы скупают чипы H100 для стартапов, в которые они вкладывают деньги.
Но не только технологические компании стремятся заполучить H100: По сообщениям Financial Times, которая ссылается на неназванные источники, Саудовская Аравия и ОАЭ приобрели тысячи этих чипов стоимостью 40 тыс. долларов, для создания собственных приложений искусственного интеллекта.
Такой высокий спрос на один чип со стороны одной компании привел к своеобразному ажиотажу. "Кто, когда и сколько H100 получит - это главная сплетня долины", - так выразился в своем Twitter представитель OpenAI Андрей Карпати.
Для генерации сложных ответов на вопросы, большие языковые модели (LLM) обучаются на огромных массивах данных. Однако для интеграции LLM в реальные приложения, такие как поисковые системы, требуются значительные вычислительные мощности.
В своем исследовании, ученые из Университета Вашингтона и Сиднейского университета, привели данные о высокой стоимости обучения ИИ. Google обрабатывает более 99 тыс. поисковых запросов в секунду. Если встроить GPT-3 в каждый запрос и предположить, что каждый запрос генерирует 500 токенов - объектов, представляющих собой право на выполнение той или иной операции, то для поддержания работоспособности Google потребуется около 2,7 млрд. графических процессоров A100 - старых чипов Nvidia AI. По оценкам исследователей, стоимость этих графических процессоров превысит 40 млрд. долл. только за счет капитальных затрат.
По словам Вилли Ши, профессора практики управления в Гарвардской школе бизнеса, ранее работавшего в IBM и Silicon Valley Graphics, Google и другим компаниям нужен более мощный чип, который будет работать лучше, при той же цене или ниже. Появился процессор Nvidia H100, названный в честь ученого-компьютерщика Грейс Хоппер. H100 предназначен для генеративного ИИ и работает быстрее, чем предыдущие модели. По словам Шиха, чем мощнее чипы, тем быстрее можно обрабатывать запросы.
Спрос на высокопроизводительные чипы для искусственного интеллекта стал благом для компании Nvidia, которая занимает лидирующие позиции на рынке в то время, как конкуренты пытаются догнать ее.
Поскольку стартапы в области генеративного ИИ работают над расширением масштаба и сталкиваются с нехваткой H100, это открывает возможности для конкурентов, таких как Amazon и Google, которые работают над созданием собственных чипов, подобных Nvidia. Чипы Amazon называются Inferentia и Tranium, а Google - Tensor Processing Units.
"Одно дело - получить доступ к инфраструктуре. Но совсем другое дело, когда, например, вы хотите масштабировать приложение, а потом вдруг понимаете, что у вас недостаточно свободных мощностей", - говорит Арун Чандрасекаран, аналитик Gartner, специализирующийся на облачных технологиях и искусственном интеллекте. "Поэтому я думаю, что потребуется некоторое время, чтобы эти проблемы разрешились".