Грациани родился 11 августа 1882 года в местечке Филеттино в Центральной Италии в буржуазной семье врача, но избрал карьеру военного и поступил в военный колледж. В возрасте 19 лет он был зачислен в армию. Отличившись на полях первой мировой войны, где Грациани получил несколько орденов, звание полковника и два тяжелых ранения, в 1921 году он получил назначение в Ливию.
Молодой офицер был ярым сторонником фашизма и преданным поклонником Муссолини. Благодаря этому, во второй половине 20-х годов он быстро пошел в гору. В 1928 году Грациани был назначен командующим итальянскими войсками в Триполитании, а через три года стал вице-губернатором Киренаики. На этой должности он прославился жестоким обращением с местным населением колонии, выступления которого Родольфо Грациани подавлял с ужасающей безжалостностью. В последствии за ним закрепилась репутация самого агрессивного, недалекого и жестокого итальянского военачальника.
В начале 1935 года Муссолини назначил генерала Грациани губернатором Итальянского Сомали. В итало-эфиопской войне Родольфо Грациани возглавил войска Южного фронта. После захвата Аббис-Абебц и официального завершения войны войска Грациани, которому дуче присвоил звание маршала, еще в течении года вели боевые действия с отрядами местных князей. Так, широко используя боевые отравляющие вещества, он в конце 36-го года разгромил войска временного правительства Эфиопии под началом князя Имру, а через полгода – формирования князя Десту, действовавшие на юге страны.
В феврале 37-го года на Родольфо Грациани было совершено покушение. Но, маршал остался жив и в качестве репрессалий приказал расстрелять 30 тысяч эфиопов. Тем не менее, партизанская война в Эфиопии продолжалась вплоть до освобождения страны в апреле 1941 года. После того, как Бадольо был отозван на родину, Грациани занял пост вице-короля Абиссинии. Но, когда карательные меры маршала спровоцировали крупномасштабное народное восстание, вспыхнувшее в январе 38-го года, Муссолини был вынужден снять Родольфо Грациани с должности и отправить его в отставку. В качестве утешения король пожаловал маршалу титул маркиза.
Осенью 1939 года маршал Грациани был назначен начальником Генерального штаба сухопутных сил. 29 июня 1940 года маршал Бальбо вылетел из Триполи в Тобрук. При подлете к тобрукскому аэродрому самолет командующего по ошибке был обстрелян собственными зенитными батареями. Машина получила несколько прямых попаданий и развалилась прямо над летным полем. Экипаж, Бальбо и все сопровождавшие маршала лица погибли. Это был первый самолет, сбитый итальянскими ПВО в Северо-Африканской компании. Оправившись от шока, Бенито Муссолини назначил главнокомандующим войсками в Ливии маршала Родольфо Грациани, имевшего репутацию знатока этого региона.