390 подписчиков
В ответ на пост
Насчет количества оперативной памяти я могу ошибаться, так как тип моделей IQ3_XS мне не знаком.
Вроде бы, как будто, этот тип загружает не все слои в память и тем самым позволяя ещё сильнее снизить требования к памяти.
Если кто то из читателей разбирается, то прошу раскрыть эту тему в комментариях.
Около минуты
25 марта 2024