Решение задания №11 | Вычисление количества информации | ЕГЭ Информатика | Вебиум
768 ГБ дешевой памяти Intel Optane DIMM для запуска LLM с 1 триллионом параметров на системе с одной видеокартой
Пользователь Reddit добился успеха, запустив LLM с 1 триллионом параметров на рабочей станции, используя модули Optane PMem DIMM в качестве оперативной памяти, что вызвало ажиотаж в сообществе. — tomshardware.com Пользователь Reddit произвел фурор, заставив рабочую станцию с модулями Optane PMem DIMM, используемыми в качестве оперативной памяти, запустить большую языковую модель (LLM) с 1 триллионом параметров. APFrisco подробно изложил в мини-руководстве на сабреддите Local LLaMA, как им удалось...