Baidu выкатили нативную omni-modal модель, которая умеет понимать и генерировать текст, изображения и аудио. Ключевая фишка архитектуры - MoE на 2,4 трлн параметров, но в каждом запросе активируется менее 3% параметров. То есть модель пытается держать качество “больших” систем, но с более эффективным инференсом по стоимости и скорости. Самое интересное - результаты на бенчмарках (по графикам Baidu): - Text: ERNIE-5.0 уверенно держится в топ-группе на широком наборе тестов по знаниям, инструкциям,...