NVIDIA улучшила производительность Llama 3.1 (LLaMA — большая языковая модель (LLM), выпущенная в феврале 2023 года) в 1,9 раза, применив алгоритм декодирования Medusa. Этот алгоритм позволяет ускорить вычисления на ИИ-ускорителях NVIDIA HGX H200. Для обеспечения низкой задержки и высокой пропускной способности в реальном времени в приложениях генеративного ИИ, которые используют большие языковые модели (LLM), необходимо выполнять вычисления на нескольких GPU. Для этого объединенные GPU должны способны обрабатывать запросы как единый мощный GPU...
Как сообщает SemiAnalysis, у Nvidia есть большие планы по доминированию в сфере ИИ и борьбе с конкурентами за счет увеличения скорости выпуска новых графических процессоров: каждый год она выпускает новую линейку на базе новой архитектуры. Так, в следующем году мы получим графические процессоры Blackwell (B100), предположительно позже, поскольку планируется также дебют новых продуктов Hopper (H200), и они появятся первыми. А в 2025 году Nvidia выведет на рынок еще одну новую архитектуру, которая...