Insieme frequentano la scuola libera del nudo annessa all'Accademia di belle arti di via Ripetta, dove il Mafai trova il suo vecchio maestro Calcagnadoro, compagni di corso sono anche Renato Marino Mazzacurati e Antonietta Raphaël, con la quale inizierà un rapporto destinato a durare tutta la vita, tra separazioni, ricongiungimenti e la nascita delle tre figlie Miriam (1926), Simona (1928) e Giulia (1930).
In questo periodo formativo gli studi e le frequentazioni di Mafai alla Biblioteca di archeologia e storia dell'arte a Palazzo Venezia lo introducono alla scoperta dei maestri del passato, mentre la Raphaël lo avvicina ai pittori dell'École de Paris. Comunque l'avversione per la pittura ufficiale, che si manifesta con forza in questi primi anni, si mantiene nel tempo attraverso le varie fasi della produzione di Mafai ed il progressivo rinnovamento del suo linguaggio espressivo.
Nel 1929 i lavori di Mafai iniziano ad essere notati dalla critica, che definisce la sua un'arte "eccentrica ed anarcoide" ed "anti-impressionista" in occasione della mostra preso Palazzo Doria, con Scipione ed altri giovani pittori romani, organizzata da "Il Convegno". Nello stesso periodo Longhi recensendo la I Sindacale del Lazio conia il termine "Scuola di via Cavour" riferendosi al terzetto Mafai, Scipione, Raphaël e alla casa-studio in cui i tre lavoravano.
Dal marzo 1930 la coppia Mafai - Raphaël si trasferisce a Parigi, mentre Antonietta si trattiene all'estero per tre anni, Mario rientra spesso a Roma continuando a partecipare alla vita culturale cittadina. Nel novembre infatti Mafai espone in una doppia personale con Scipione alla Galleria di Roma, con opere che testimoniano una fase di transizione, verso un rinnovato interesse per la luce. Nel gennaio 1931 espone tre quadri alla I Quadriennale di Roma, e partecipa ad una mostra itinerante del "Novecento italiano" organizzata da Margherita Sarfatti: i suoi quadri viaggiano da Stoccolma ad Helsinki e l'anno dopo a Oslo, poi a Baltimora e in altre città degli Stati Uniti.
Nel 1932 è per la prima volta alla Biennale di Venezia, partecipando anche alla successiva edizione. Negli anni 1933-34 Mafai dipinge alcuni dei suoi capolavori come "Donne che si stendono al sole", "Nudo in riposo" oltre alla serie dei "Fiori", e alla II Quadriennale di Roma ha una sala personale. Nel luglio 1935 si sposa con Antonietta Raphaël. Nel 1936 viene incaricato di decorare un salone della casa della Gioventù italiana del littorio, ed il suo successo è ribadito l'anno successivo dalla personale romana presso la Galleria della Cometa, presentato da Emilio Cecchi. Nel 1938 è alla XXI Biennale di Venezia in una sala riservata con Ziveri. Nel febbraio 1939 partecipa alla III Quadriennale di Roma ed alla seconda milanese di "Corrente" dove espone le prime opere della serie "Fantasie".
Seguono esposizioni a New York e Venezia, dove tiene una personale presentata da Ragghianti. In settembre è richiamato come riservista a Macerata, resta in servizio fino al 1942, anno in cui si iscrive al Partito comunista e pubblica su «Prospettive» la raccolta di pensieri "Il pittore, l'uomo, le pere".
Continua intanto ad esporre a Genova (dove resta tre anni con la famiglia, a causa dell'inasprimento delle leggi razziali), a Roma, a Milano, vincendo il premio Bergamo (1941), primo dei pochi riconoscimenti ottenuti, anche in conseguenza della sua riluttanza nei confronti delle forme ufficiali di consacrazione.
Già dal 1944 e poi sempre di più nel dopoguerra intensifica l'attività espositiva e gli interventi al dibattito artistico e culturale, tra le personali in importanti gallerie ricordiamo La Tartaruga di Roma (1959), la Blu di Milano, la Bussola di Torino (1960); proseguono le partecipazioni alla Biennale di Venezia e Quadriennale di Roma, fino ad arrivare alla mostra intitolata "Sguardo alla giovane Scuola romana dal 1930 al 1945", in cui Mafai è riconosciuto figura di spicco tra gli artisti del gruppo. Nell'ultimo periodo la sua ricerca si evolve dal raffinato cromatismo verso l'informale, è del 1964 la sua ultima personale a Roma, città in cui si spegne nel marzo 1965. Nello stesso anno è organizzata una retrospettiva nell'ambito della IX Quadriennale romana. Nei confronti di Mafai si è parlato di un "difetto di critica", sia legato al suo carattere schivo e geloso della sua intimità artistica, che dovuto all'effettiva mancanza, fino alla monografia di De Libero (1949), di un'opera critica analitica che analizzasse il suo profilo, destinato ad un tardo riconoscimento.