La FAI considera militanti quegli anarchici la cui azione si informa sempre ai principi dell'anarchismo, della lotta contro lo Stato e contro il capitalismo per la rivoluzione con indirizzo antiautoritario. Conseguentemente ne possono far parte, in forma autonoma, i gruppi e le individualità che si richiamano al programma malatestiano e che, pur facendo valere il proprio diritto al dissenso sulla integralità delle deliberazioni congressuali, accettano il «Patto associativo».
Gli aderenti alla FAI costituiscono in ciascuna località gruppi, circoli e federazioni di gruppi o circoli; ogni gruppo regola il suo funzionamento interno e la sua attività in completa autonomia, fissa il suo programma specifico di azione, le modalità di funzionamento, la propria denominazione, i rapporti fra gli associati, senza che gli altri gruppi o organismi abbiano il diritto di intervenire, se non chiamati, nella sue questioni interne.
I rapporti tra le varie federazioni, gruppi ed individualità aderenti alla Federazione e l'indirizzo generale dell'azione collettiva di questa sono di competenza del congresso e impegnano moralmente e finanziariamente tutte le sue componenti. Il Congresso ordinario si tiene normalmente ogni due anni e viene indetto dalla Commissione di Corrispondenza. A esso partecipano di diritto gli aderenti alla FAI sia in quanto delegati di gruppi, sia come singole individualità.
La storia della FAI non è stata priva di spaccature e scissioni. Nel febbraio del 1951 alcuni militanti di tendenza comunista libertaria fuoriescono dalla Federazione per costituire i Gruppi anarchici di azione proletaria (Gaap), poi divenuti Federazione comunista libertaria, che, dopo una fusione con un gruppo di fuorusciti dal Partito comunista italiano (Azione comunista), daranno vita a Lotta comunista.
Nel 1965, durante il Congresso di Carrara (31 ottobre-4 novembre), alcuni gruppi e individualità, tra cui Pio Turroni (Cesena 1906-1982) e Aurelio Chessa (Putifigari, Ss 1913-Rapallo, Ge 1996), per contrasti con la nuova organizzazione, secondo loro troppo strutturata, escono dalla FAI costituendo i Gruppi di iniziativa anarchica (GIA).
Nel 1973 fuoriescono i gruppi comunisti anarchici di tendenza piattaformista (per i quali vige il principio della responsabilità collettiva), dando vita alla Federazione comunista libertaria (Fcl), che si scioglierà due anni dopo, confluendo parzialmente, insieme ad altri, in Autonomia operaia. Diversi militanti della Fcl, insoddisfatti della scelta comunista, rientreranno nella FAI.
Al di là di queste spaccature, le sue strutture sono rimaste sostanzialmente stabili nel tempo. Per la natura del movimento, non esiste un organo decisionale centrale. Le attività comuni a tutti gli aderenti vengono svolte da commissioni di lavoro, alcune presenti con continuità nella sua storia, altre attive solo in alcuni periodi perché dedicate a temi o questioni specifiche. Tra queste vanno segnalate: Commissione di corrispondenza (Cdc); Commissione relazioni internazionali (Cri), Commissione antirazzista, Commissione antimilitarista, Commissione mondo del lavoro, Commissione archivio storico, redazione nazionale di «Umanità nova», amministrazione di «Umanità nova», Commissione edizioni «Zero in condotta». La Commissione di corrispondenza ha l'incarico di rappresentare la FAI nelle pubbliche manifestazioni, di eseguire gli incarichi avuti dal Congresso, di organizzare le eventuali manifestazioni di carattere nazionale (possibilmente con l'apposita Commissione di studio e di lavoro ove esistente), di servire da tramite tra i gruppi e le federazioni locali, di affiancare e documentare l'azione del Comitato nazionale vittime politiche, di redigere il Bollettino interno, di deliberare insieme alla Federazione su tutte quelle questioni che, pur non essendo così importanti e generali da doversi rimandare al Congresso, sono però tali da costituire un impegno morale e finanziario per la FAI. Le due commissioni legate a «Umanità nova» si occupano della redazione e della gestione economica del settimanale fondato nel 1920 da Errico Malatesta come testata ufficiale dell'Unione anarchica italiana.