Графический процессор NVIDIA H100 Tensor Core был в прошлом году горячим товаром в сегментах HPC и AI - крупнейшие покупатели приобрели до 150 000 единиц каждого. Спрос вырос настолько, что сроки поставки серверного оборудования на базе H100 составили от 36 до 52 недель. Последние сообщения говорят о том, что ситуация стабилизировалась - настолько, что некоторые организации "разгружают чипы" по мере охлаждения предложения. По всей видимости, экономически выгоднее арендовать сеансы обработки ИИ через поставщиков облачных услуг (CSP) - большую тройку: Amazon Web Services, Google Cloud и Microsoft Azure.
Согласно отчету Seeking Alpha, опубликованному в середине февраля, время ожидания модели NVIDIA H100 80 GB GPU сократилось примерно до трех-четырех месяцев. Издание полагает, что некоторые компании уже сократили количество заказов, в то время как у других аппаратное обеспечение лежит без дела. Как сообщается, сложность обслуживания и затраты на него являются основными факторами, побуждающими "разгрузить" ненужное оборудование и перейти к аренде серверного времени у CSP. Несмотря на улучшение ситуации с поставками, спрос на графические процессоры AI по-прежнему растет - в основном за счет организаций, работающих с моделями LLM. Ярким примером является Open AI - как отмечает The Information, инсайдеры говорят о том, что Сэм Альтман и Ко ищут альтернативные решения и пути производства.
