эта мысль была, значит творец даст энергию и на реализацию задуманного, сделаешь и след раз он даст больше энергии на совершенствование этого мира, он все видит через тебя, он это ты и есть, а если не откликнешься, загасишь эту энергию, не дашь выход, то в следующий раз в подобной ситуации, он даст меньше энергии и...
Главное: 975 млрд параметров всего, но благодаря MoE на каждом токене работают только 41 млрд активных параметров. Поэтому по вычислениям это ближе к большой 41B-модели, хотя хранить и распределять всё равно нужно почти триллион весов. 256 специализированных экспертов: для каждого токена выбираются 6 экспертов плюс 2 общих. Контекст до 1 млн токенов — можно теоретически загрузить огромную кодовую базу, массив документов или несколько книг. Но полный 1M-контекст дорог по памяти и задержке; в Tinker сейчас доступны только режимы 64K и 256K. Нативно принимает текст, изображения и аудио, генерирует текст...
