В этой статье я объясню простым языком как работает магия оффлоадинга n-gram таблицы в оперативную память почему архитектура MoE с 6B активных параметров меняет правила игры и какую конфигурацию железа нужно собрать чтобы повторить этот результат дома. Полный чекпоинт Qwen3.8-Flash-Next в bf16 занимает 360 ГБ на диске а вспомогательная n-gram таблица весит 102 ГБ. По логике такая модель требует серверного кластера или облака за тысячи долларов в месяц. Но энтузиасты запустили её на обычной RTX 4090...

Внимание! Это продолжение предыдущей статьи. В прошлой части изложены история и полезная информация о файле подкачки. Там же показано, к каким печальным последствиям приводит расположение файла подкачки на SSD, когда в системе недостаточно физической ОЗУ, а также разобраны плюсы и минусы этого «костыля». Содержание: Люди давно привыкли к тому, что накопитель информации предназначен для хранения: можно взять любой исправный HDD, который пролежал на полке 10-20 лет, и он будет прекрасно считываться...