Let's reproduce GPT-2 (124M)-part_9
PyTorch 2.10 - что нового (коротко и по делу
) PyTorch выпустили версию 2.10 - релиз с упором на ускорение компиляции/инференса и отладку численных расхождений, что особенно полезно в больших distributed-тренировках. Главное по фичам: • torch.compile + Python 3.14 Добавили поддержку Python 3.14, включая экспериментальный freethreaded build (3.14t). • Меньше overhead на GPU (horizontal fusion) TorchInductor теперь лучше объединяет независимые операции в один GPU kernel, уменьшая kernel launch overhead и ускоряя пайплайны. • varlen_attn() - attention для variable-length входов Появилась новая опа в torch...