Mistral открыла публичный предпросмотр флагманской модели Mistral Large 4, известной как «Le Chonk». Это крупнейшая и самая мощная модель в линейке компании — мультимодальная система с 1 трлн параметров и архитектурой «смесь экспертов»: запрос направляется к специализированным подсетям, поэтому активируются только 49 млрд параметров. В модель входит энкодер изображений на 1,6 млрд параметров, контекстное окно — 1 млн токенов. Источник изображения: Mistral Разработчик называет новинку передовой моделью с открытыми весами...