Cursor Research открыла исходный код Mixture-of-Kittens (MoK), мегаядра для обучения моделей на архитектуре mixture of experts, которое объединяет все шаги коммуникации и вычислений в один детерминированный процесс и ускоряет обучение до 2,37 раза. Узкое место обучения больших MoE-моделей (mixture of experts, архитектура, где запрос обрабатывает не вся сеть, а только группа «экспертов») не в вычислениях, а в пересылке данных между GPU. MoK снимает именно этот тормоз, и код доступен бесплатно под лицензией Apache-2...