Найти тему
10,2 тыс подписчиков

📌 LOMO: LOw-Memory Optimization


New optimizer, LOw-Memory Optimization enables the full parameter fine-tuning of a 7B model on a single RTX 3090, or a 65B model on a single machine with 8×RTX 3090, each with 24GB memory.

Новый оптимизатор, LOw-Memory Optimization (LOMO), который объединяет вычисление градиента и обновление параметров в один шаг для уменьшения использования памяти. Интегрируя LOMO с существующими методами экономии памяти, можно сократить использование памяти до 10,8% по сравнению со стандартным подходом (решение DeepSpeed).

🖥 Github: https://github.com/OpenLMLab/LOMO/tree/main

📕 Paper: https://arxiv.org/pdf/2306.09782.pdf

🔗 Dataset: https://paperswithcode.com/dataset/superglue

ai_machinelearning_big_data
📌 LOMO: LOw-Memory Optimization New optimizer, LOw-Memory Optimization enables the full parameter fine-tuning of a 7B model on a single RTX 3090, or a 65B model on a single machine with 8×RTX 3090,
Около минуты