AI-подразделение китайского производителя электромобилей Lixiang опубликовало интересную работу о том, как они оптимизацией насыщали компактную модель доменными знаниями. Mach-Mind-4-Flash - итоговая MoE-модель на 35 млрд общих 3 млрд активных параметров на базе Qwen3.5-35B-A3B. Проблема, от которой Li Auto отталкивались, состоит в том, что если учить одну модель с подкреплением сразу на смеси наград (математика, код, агентные задачи), то появляются качели - подтянули одно, просело другое. Решение - разделить этапы и области знаний...