1241 подписчик
AMD заявляет, что его ускоритель искусственного интеллекта MI300X быстрее, чем H100 от Nvidia.
AMD ответила на заявления Nvidia о преимуществе GPU-ускорителя H100, заявив, что у Nvidia нет полной картины. Они также представили дополнительные результаты бенчмарков с использованием стандартных нагрузок. Несмотря на то, что Nvidia использовала TensorRT-LLM для H100, а AMD использовала vLLM для MI300X, AMD все равно смогла продемонстрировать улучшение латентности в 1,3 раза. Они также отметили, что результаты показывают, насколько сравнимы MI300X, использующий FP16, и H100, даже при использовании лучших настроек производительности с FP8 и TensorRT-LLM.
Около минуты
18 декабря 2023