12 августа на форуме по применению финансового ИИ Huawei представит технологию, которую называет крупным прорывом в области ИИ-инференса (этап, на котором модель уже не обучается). По сообщениям из Китая, разработка может уменьшить зависимость страны от высокоскоростной памяти HBM, важной для работы ИИ-систем. А также повысить эффективность отечественных решений.
HBM (High Bandwidth Memory) — это особый тип памяти с высокой пропускной способностью, созданный с использованием трёхмерной компоновки чипов. Она обеспечивает высокую скорость передачи данных при низком энергопотреблении. В процессе инференса — когда обученная модель обрабатывает новые данные — HBM позволяет работать без задержек, раскрывая «полный потенциал графических процессоров», объясняют эксперты.
Huawei может предложить альтернативные подходы. Один из них — использование чиплетной архитектуры, где несколько небольших чипов работают вместе, уменьшая потребность в большой памяти. Другой путь — оптимизация самих моделей ИИ, чтобы они требовали меньше ресурсов при сохранении производительности.
Если новая технология Huawei сможет соперничать с системами на HBM по мощности, это станет важным шагом к «технологической независимости Китая» и может изменить подход к созданию мощных ИИ, заявляют местные СМИ.
Подробности станут известны после презентации.