Il 18 gennaio 1301 cominciò un'eruzione vulcanica, durata alcuni anni, che distrusse la cattedrale e il palazzo vescovile. A seguito di ciò, il vescovo Pietro II, assieme alla popolazione, si rifugiò nel Castello Aragonese, che rimase la dimora vescovile fino all'inizio dell'Ottocento. Nello stesso castello si trovavano il convento delle clarisse, l'abbazia dei monaci basiliani di Grecia, la sede del capitolo con la cattedrale e, più tardi, il seminario.
Durante il periodo dello scisma d'Occidente, la chiesa di Ischia visse per un certo periodo sotto l'obbedienza avignonese dell'antipapa Clemente VII, che fece deporre il vescovo Bartolomeo Bussolaro e nominò al suo posto il chierico isclano Paolo Strina. Nei primi anni del XV secolo fu amministratore apostolico di Ischia Baldassarre Cossa, futuro antipapa Giovanni XXIII, che allontanò il legittimo vescovo ed impedì la nomina del suo successore.
Il vescovo Iñigo de Avalos (1590-1635) dette avvio all'attuazione in diocesi delle direttive riformatrici del concilio di Trento, convocando per la prima volta un sinodo diocesano nel 1599. Un altro importante sinodo venne convocato dal vescovo Luca Trapani nel 1716, i cui atti tuttavia non trovarono valida applicazione per l'opposizione delle università locali. Niccolò Schiaffinati istituì il seminario diocesano nel 1740.
Il 13 ottobre 1770, tramite un decreto legge del re di Napoli, Ischia cedette l'isola di Ventotene alla diocesi di Gaeta; quest'isola faceva parte della diocesi di Ischia da diversi secoli, documentata già nella prima metà del XIII secolo.
Nel periodo napoleonico, durante il quale la diocesi rimase vacante per 19 anni, lo scontro tra francesi e anglo-borbonici portò al saccheggio, alla distruzione e all'abbandono della cattedrale nel Castello Aragonese. Nel 1818 il nuovo vescovo Giuseppe D'Amante pose la sua residenza nel centro di Ischia dove, con rescritto della Santa Sede del 5 settembre 1818, fu elevata al rango di cattedrale la chiesa di Santa Maria Assunta, dell'ex convento agostiniano di Santa Maria alla Scala.
Nel Novecento la diocesi fu sede vacante per un decennio, dal 1970 al 1980, durante il quale fu soggetta ad amministrazione apostolica, fino alla nomina di un nuovo vescovo residenziale, il comboniano Diego Parodi.