Атомарные операции — это неделимые инструкции (например, atomicAdd, atomicCAS, compare-and-swap), которые обеспечивают безопасный доступ к общей памяти в многопоточных или параллельных средах без использования блокировок (locks). В ML они особенно полезны для ускорения обучения на CPU/GPU и в распределённых системах, где возникают race conditions. Атомарные операции не универсальны: они медленнее обычных инструкций из-за сериализации, поэтому применяются только там, где нужны (sparse updates или high contention). В современных фреймворках (например, Horovod, DDP в PyTorch) чаще используются collectives (allreduce), но atomics остаются ключевыми для low-level оптимизаций и custom кода...