Moonshot AI выпустила Kimi K3, свою самую мощную модель. Она получила 2,8 трлн параметров, MoE архитектуру с 896 экспертами, из которых одновременно работают только 16. Благодаря этому модель остается очень производительной при разумной стоимости. Контекстное окно достигает 1 млн токенов. Модель умеет нативно работать с текстом, изображениями и видео, а также использует новую архитектуру Kimi Delta Attention с более эффективной обработкой длинного контекста. По словам разработчиков, масштабируется она примерно в 2,5 раза эффективнее предыдущего поколения...