Найти тему
357 подписчиков

И у нас снова новости из мира языковых моделей:


Mixtral выпустили новую модель: Mixtral-8x22B

Новая модель это Mixture of Experts Mixtral-8x22B:
- Размер модели 262 GB в FP16 (в 4-bit будет куда меньше)
- 8 экспертов по 22B параметров / 2 активных
- Размер контекста 65 тысяч токенов.

Возникает стойкое ощущение, что в этом году open-source модели бодро обойдут gpt-3.5-turbo по всем фронтам.

Новая версия ChatGPT 4 Turbo поддерживает нативное распознавание изображений.

Таким образом, получается, что gpt-4-turbo-2024-04-09 интегрировала в себя gpt-4-vision-preview и теперь две модели стали одним целым.

И у нас снова новости из мира языковых моделей:  Mixtral выпустили новую модель: Mixtral-8x22B  Новая модель это Mixture of Experts Mixtral-8x22B: - Размер модели 262 GB в FP16 (в 4-bit будет куда...
Около минуты