1 неделю назад
PyTorch 2.13: FlexAttention на Apple Silicon и fused ops для LLM
3328 коммитов от 526 контрибьюторов — таким получился PyTorch 2.13. Если 2.12 был про device-agnostic API и Microscaling, то 2.13 — релиз, который окончательно закрепляет трансформацию PyTorch из исследовательского фреймворка в production-платформу, одинаково удобную для обучения на кластере из тысяч GPU и инференса на MacBook Pro. Три изменения выделяют этот релиз. FlexAttention наконец добрался до Apple Silicon с ускорением до 12 раз над стандартным SDPA для разреженных паттернов внимания. Fused-операция nn...