10,2 тыс подписчиков
⚡ Lightning Thunder: It makes PyTorch programs faster on single accelerators and distributed.
Thunder, новый компилятор для Python!
В задачах обучения LLM (например, Llama 2 7B) он может ускорить работу на 40% по сравнению с обычным PyTorch.
Вы можете использовать его с pytorch.compile для повышения эффективности. И, конечно же, он также поддерживает обучение с несколькими графическими процессорами через DDP и SDP SDP.
Около минуты
21 марта 2024