Figura di grande rilievo fu il figlio primogenito di Bonanno, Antonio. Avvocato concistoriale e maestro di diritto alla Sapienza, sposò in seconde nozze, nel 1450, Ludovica di Gian Andrea Colonna, ultima erede del ramo di Riofreddo. Nel 1452, ottenne dall'imperatore Federico III il titolo in perpetuo di Conte del Palazzo Lateranense. Sviluppò la mercatura della lana, ampliando i suoi armenti e acquistando il tenimento di Ardea. Il figlio di Antonio, Nicolò, fu grande erudito, amico di Pomponio Leto e Bartolomeo Platina e collezionista di antichi manoscritti latini, umanista e letterato. Suo fratello Prosperò fu, per 36 anni, vescovo di Ascoli dove fece costruire molti monumenti; tornato a Roma nel 1500 istituì la cappella familiare nella chiesa di S. Maria sopra Minerva. Bernardino, fratello minore di Prospero fece costruire su disegno di Raffaello, eseguito la Lorenzo Lotto, il palazzo familiare. Altra figura importante fu Giovan Pietro seniore, figlio di Nicolò, prefetto del Tevere e di Ripa al tempo della peste e del sacco di Roma (1527). Migliorò i rapporti con la famiglia Colonna riuscendo ad aggiungere ai feudi d'Abruzzo la baronia di Torano data in retrocessione di Riofreddo; ampliò i possedimenti romani sul colle Capitolino e acquistò nel 1529 la proprietà della valle dell'Almone tra la via Latina e la via Appia che sarà poi ampliata con altri possedimenti e denominata Caffarella. Ascanio, figlio di Giovan Pietro, fu per 30 anni al servizio della causa di Spagna. Fece iniziare nel 1576 la costruzione sul colle Capitolino un nuovo palazzo. Fu fondatore e direttore della Stamperia camerale; fece costruire la Torre S. Lorenzo sul mare di Ardea, sembra su disegno di Michelangelo, per aderire all'invito di Pio V che voleva apprestare una efficiente difesa contro i pirati barbareschi. Giovan Pietro juniore, conservatore di Roma nel 1603, commissionò al Cavalier d'Arpino le pitture della sala degli Orazi e Curiazi e curò l'ordinamento dell'archivio Capitolino. Si servì del proprio archivio per scrivere una storia della città di Roma e delle maggiori famiglie romane. Dal manoscritto si apprende che i Caffarelli avevano dei vasti possedimenti non solo nel Lazio ma anche in Abruzzo. Alla morte di Giovan Pietro si aprì un lungo periodo di controversie familiari per la divisione del patrimonio che durò fino quasi al 1731. Gli eredi di Giovan Pietro si dovettero difendere dalla pretese degli eredi dei rami collaterali di Pietro, Bernardino e Prospero.
Al ramo collaterale di Pietro appartenne Scipione Caffarelli, nominato cardinal nipote dal papa Paolo V col nome di Borghese, che fu l'ultimo della discendenza morto nel 1633. Il cardinale Scipione Borghese fu una figura di grande spicco per i grandiosi restauri da lui fatti eseguire a molte chiese e basiliche romane e per il suo mecenatismo sia nel campo delle arti che delle lettere e della musica. Fece costruire la bellissima villa di Porta Pinciana dove riunì la sua importantissima collezione d'arte.
Anche il ramo di Bernardino si estinse all'inizio del 1600.
Dal ramo di Prospero discesero altri due famosi personaggi: Fausto, avvocato concistoriale, vescovo di S. Severina fino al 1637, nunzio Apostolico a Firenze e inviato presso i Savoia per ottenerne l'appoggio per la unione di Urbino agli Stati della Chiesa e Prospero, cardinale, insigne giurista.
Intanto però era iniziato, già dalla seconda metà del 1500 il declino della famiglia provocato dalla sua stessa espansione. I Caffarelli poterono resistere ai pressanti impegni finanziari tenendo unita la famiglia e istituendo sempre più fedecommessi.
Nel 1658 Gapare ebbe da Filippo IV di Spagna il titolo di Duca di Assergi. Alla sua morte la Casa aveva oltre 11.000 scudi di debiti per cui suo figlio Giovan Pietro iniziò ad alienare delle proprietà dando origine ad ulteriori controversie familiari. A lui successe il fratello Alessandro che non riuscì a risollevare le sorti del patrimonio familiare. Ad Alessandro successero Baldassarre e poi Alessando juniore (n. 1727). A quest'ultimo successe il fratello Gaetano seniore, che militò agli ordini di Francesco d'Austria.
Durante le vicende della repubblica Romana la famigli si trasferì a Fermo. Da qui Baldassarre tornò a Roma nel palazzo di Campidoglio ma ormai le ristrette finanziarie erano tali che la famiglia fu costretta a cedere gradualmente tutta la proprietà a Guglielmo, principe ereditario di Germania che aveva concesso un mutuo ai Caffarelli. L'ultimo atto con cui anche il palazzo fu ceduto alla Germania è del 1854.
Con la morte di Baldassarre nel 1849 si estingue la liea primogenita. La discendenza venne ricostituita con la trasmissione del patrimonio e del titolo al figlio più giovane della sorella di Baldassarre, Carolina, e del conte Antonio Negroni.
Giuseppe Negroni (n. 1817) sposato alla contessa Laura Della Porta Rodiani, fu chiamato da Pio IX ad assumere i titoli e l'eredità dei beni fedecommissari della famiglia Caffarelli. Giuseppe solidificò le sostanze familiari. Impiegò l'ultimo versamento fatto dall'Ambasciatore di Germania per il palazzo in Campidoglio per l'acquisto del palazzo cinquecentesco in Borgo Vecchio appartenuto a al cardinale Pierdonato Cesi. Inoltre fece riordinare l'archivio familiare.
Nel 1893 un incendio distrusse il Palazzo Della Porta in via dei Condotti dove viveva la madre di Giuseppe e per ricostruirlo la famiglia vendette il Palazzo Cesi. Delle antiche proprietà rimanevano alla metà del sec. XX il palazzo di Porto di Fermo ora Porto S. Giorgio, a cui si aggiunse la Rocca di Torre di Palma e la Fonte dell'Orso fra la Val d'Arno e la val di Sieve. Il tenimento di Ardea fu espropriato nel 1939 dal Governo nazionale ed attribuito all'Opera nazionale combattenti mentre rimanevano i due comprensori agricoli di Casalazzara Nova e di Carrocetello nel Comune di Aprilia.