768 ГБ Intel Optane Persistent Memory в формате DIMM помогли энтузиасту запустить локально LLM на 1 трлн параметров на рабочей станции с одной GeForce RTX 3060 12 ГБ. По его замерам, модель Kimi K2.5 выдавала около 4 токенов в секунду. История разошлась в комьюнити локального инференса после поста пользователя APFrisco. Он собрал систему на Xeon и поставил Optane PMem как «память между DRAM и SSD», купив модули на вторичном рынке по цене ниже, чем стоил бы сопоставимый объём обычной ECC DDR4. Ключевой трюк в том, что Optane PMem DIMM можно включить в режиме Memory Mode...

Ускоряет ли систему Intel Optane Memory? Прежде чем ответить на этот вопрос, нужно разобраться, что это такое. Своими словами, Intel Optane Memory - это накопитель, выступающий в виде быстрого кэша часто используемых вами приложений и файлов, в котором используется передовой, на данный момент, тип памяти 3D XPoint. Можно использовать Intel Optane Memory как накопитель, но объем памяти катастрофически мал. Внешний вид и возможные версии Intel Optane Memory выполнен в форм-факторе M.2 2280, интерфейс подключения NVMe, но вместо привычных четырех PCIe линий для его работы нужны всего две...