Quando nel 1935 Mussolini aggredisce l'Etiopia, Graziani viene nominato governatore della Somalia ed assume il comando del fronte meridionale. Nella campagna etiopica Graziani torna ad impiegare i metodi più brutali, in particolare l'uso sistematica e indiscriminato dei gas. Nominato Maresciallo d'Italia, diviene viceré d'Etiopia dopo che Badoglio ha rinunciato all'incarico.
Dopo un fallito attentato nei suoi confronti, Graziani è responsabile di distruzioni, persecuzioni spietate, massacri.
Rimpatriato alla fine del 1937 è nominato capo di stato maggiore dell'esercito e nel 1940 destinato al comando delle truppe in Africa settentrionale con l'Italia ormai in guerra. Dopo il rovinoso sviluppo delle operazioni militari, è esonerato dal servizio e lasciato senza incarichi, sottoposto ad inchieste.
Con la fondazione della Repubblica sociale italiana, Graziani diventa ministro della Difesa nazionale e si impegna nell'organizzazione del nuovo esercito. Il 2 agosto 1944 il maresciallo e le sue formazioni sono messe agli ordini dei tedeschi sotto il comando del generale Albert Kesselring.
All'avvicinarsi della fine della RSI, quando Mussolini tenta di trattare la resa con la mediazione del cardinale Schuster, anche Graziani partecipa agli incontri per poi abbandonare Mussolini e cercare scampo da solo. Si arrende a un ufficiale del IV Corpo d'Armata americano e dopo qualche settimana di arresti a Roma è spedto in Algeria; dal 6 febbraio 1946 è rinchiuso nel carcere di Procida. Nel giugno 1948 si apre il processo contro di lui e la condanna è a 19 anni di reclusione, ma tra amnistie, cavilli e condoni 17 anni gli sono cancellati. Aderisce al Movimento sociale italiano di cui diviene presidente onorario, ma se ne allontana tra le polemiche. Si ritira nella sua proprietà di Affile per poi trasferirsi a Roma, dove muore.