На этой инфраструктуре Ai2 будет обучать следующие модели Olmo. От FSDP отказались: эксперты постоянно живут на своих GPU, токены маршрутизируются к ним, а поверх работают expert parallelism, pipeline parallelism и распределённый оптимизатор. MoE на 47B параметров на 8 B300 выдаёт 52 000 токенов в секунду на GPU, это в 2.7 раза быстрее прошлой версии...