Чтобы данные были как можно ближе к ядрам или ускорителям и как можно быстрее к ним попадали, почти в каждом дизайне CPU или GPU предусмотрена иерархия кэша. — Hardwareluxx Russia.