Независимый разработчик Ферран Дуарри анонсировал модуль ядра Linux под названием GreenBoost. Проект направлен на расширение выделенной видеопамяти видеокарт NVIDIA за счет использования системной оперативной памяти и накопителей NVMe. Данное решение работает как уровень кэширования CUDA и позволяет запускать большие языковые модели, которые не помещаются в базовую память графического ускорителя.
Разработчик создал этот драйвер для запуска нейросети размером 31.8 ГБ под названием glm-4.7-flash:q8_0 на видеокарте GeForce RTX 5070 с 12 ГБ памяти. Архитектура проекта разделяет память на 3 уровня. 1 уровень представляет собой видеопамять самого ускорителя с пропускной способностью около 336 ГБ/с, где хранятся активные слои. 2 уровень задействует 51 ГБ системной памяти стандарта DDR4 со скоростью около 32 ГБ/с через интерфейс PCIe 4.0. 3 уровень использует 64 ГБ пространства на NVMe накопителе со скоростью 1.8 ГБ/с в качестве резервного варианта.
Драйвер с открытым исходным кодом распространяется по лицензии GPLv2 и работает вместе с официальным программным обеспечением NVIDIA. Модуль выделяет страницы памяти по 2 МБ, а специальная библиотека перехватывает запросы. Задачи объемом менее 256 МБ передаются напрямую в среду выполнения CUDA, тогда как крупные массивы данных перенаправляются в системную оперативную память. Это позволяет приложению использовать расширенный объем памяти прозрачно, не требуя изменения исходного кода самих программ. Для безопасности в систему добавлен мониторинг, который непрерывно контролирует нагрузку на оперативную память и накопители.