PyTorch 2.10 - что нового (коротко и по делу)
PyTorch выпустили версию 2.10 - релиз с упором на ускорение компиляции/инференса и отладку численных расхождений, что особенно полезно в больших distributed-тренировках.
Главное по фичам:
• torch.compile + Python 3.14
Добавили поддержку Python 3.14, включая экспериментальный freethreaded build (3.14t).
• Меньше overhead на GPU (horizontal fusion)
TorchInductor теперь лучше объединяет независимые операции в один GPU kernel, уменьшая kernel launch overhead и ускоряя пайплайны.
• varlen_attn() - attention для variable-length входов
Появилась новая опа в torch.nn.attention для ragged/packed последовательностей:
- работает и на forward, и на backward
- хорошо дружит с torch.compile
- сейчас через FlashAttention2, дальше планируют поддержку через cuDNN/FA4
- CUDA (A100+), dtype BF16/FP16
• Быстрее eigendecomposition на GPU
В torch.linalg ускорили eigen decomposition на NVIDIA за счёт cuSOLVER DnXgeev.
Отладка / детерминизм:
• torch.compile теперь уважает deterministic mode
Если включить torch.use_deterministic_algorithms(True), то torch.compile сохранит детерминированность между запусками - удобно для дебага.
• DebugMode для поиска numerical divergence
Новый режим для диагностики:
- логирование dispatch
- tensor hashing (видно, где именно “поехали” тензоры)
- dispatch hooks для заметок и аннотаций
Ещё важное:
• TorchScript официально deprecated
Рекомендуемый путь вперёд - torch.export.
• tlparse + TORCH_TRACE
Упростили сбор трассировок и артефактов, чтобы легче репортить баги в компиляторе.
• Релизы чаще в 2026
Планируют перейти на релиз раз в 2 месяца (вместо quarterly).
https://pytorch.org/blog/pytorch-2-10-release-blog/
#PyTorch #OpenSourceAI #AIInfrastructure
