Institute of Foundation Models выпустил сразу шесть K2 Horizon размером от 0,9 до 375 млрд параметров. Модели на 0,9, 3,7 и 7 млрд стали лучшими в своих классах по ряду тестов на рассуждения, кодинг и работу с инструментами. Самая интересная версия K2 Horizon 36B-A4B содержит 36 млрд параметров, но на каждый токен использует около 4 млрд. По качеству она почти догоняет плотную модель на 32 млрд, требуя заметно меньше вычислений. Но главное здесь не сами результаты...