È incerta la data della fondazione: il Grandi propende per l'a. 979; il Mittarelli per il 977.
Il primo documento pontificio in favore di F. A. risale a Silvestro il nel 1003. La costruzione primitiva fu eremitica: alcune cellette con la piccola chiesa e altri ambienti indispensabili alla vita di eremiti. A s. Pier Damiano si debbono la costruzione del chiostrino, che in parte rimasto, del primitivo cenobio e della chiesa ampliata nel 1171 nel sec. XIII, in stile romanico con archi leggermente gotici, a una sola nave, con presbiterio rialzato dove ancora si conservano tre altari del sec. XII e XIII. Nel 1795 venne ricoperta di stucchi e intonaco, e nel 1940 riportato allo stato primitivo con alcuni rifacimenti in pietra locale.
Il Capitolo, pure romanico, è del sec. XII, e la sala degli ospiti del sec. XIII, in architettura originale, a due ordini di finestre, attende di essere liberata dalle soprastrutture del 1700.
La biblioteca ebbe inizio per opera di s. Pier Damiano, il quale nell'Op. XIV dà l'elenco dei libri compiuti da lui stesso. Celebre è rimasta la collezione giuridica che prese il nome di "collettivo Avellana". L'archivio ricchissimo si trova quasi al completo alla Vaticana. Solo alcuni documenti sono rimasti a F. A. con qualche codice prezioso. Il tesoro fu in gran parte costituito dalle offerte dell'imperatore Federico (1177). L'elenco dei preziosi del 1425 è improntato, ma essi lentamente perirono per opera degli abitanti commandatari. Degna di nota è la statuoteca bizantina portata dal card. Zurla F. A. da Venezia, nel 1535.
F. A. godette fin dal principio dell'esenzione s. Gregorio VII, in omaggio al suo amico s. Pier Damiano, lo volle sotto protezione della S. Sede. Crebbe in Congregazione con lui fino ad aver sotto di sé oltre 100 tra chiese e monasteri. Decadde nel sec. XIV e nel 1325 da eremo fu trasformato in abbazia. Nel 1569 fu assoggettato al generale di Camaldoli. Nonostante le soppressioni del secolo scorso, oggi sta risorgendo a nuova vita.
F. A. nacque eremo secondo l'indirizzo di s. Romualdo, con l'impronta personale di s. Pier Damiano. La vita di preghiera, quasi ininterrotta, di penitenza, di giunti, voglie, cicli, discipline, metanoie, di solitudine nelle celle eremitiche distanti l'una dall'altra, di zelo apostolico.
F. A. più degli altri eremi romandini costituì una reazione alla decadenza ecclesiastica e monastica del tempo. Senza rinunziare alla Regola benedettina ne accettava lo spirito e integrava la pratica con i principi del monachesimo orientale in una sintesi cenobitico-eremitica in cui la personalità dell'individuo trovava la piena espressione spirituale.
L'organizzazione perciò tendeva a formare eremiti e ad avere eremi liberi, sganciandoli dai monasteri o facendo servire questi a quelli in un sistema congregazionistico o di semplici comunità miste, a seconda della opportunità. L'influsso esercitato da F. A. fu enorme, per la riforma gregoriana, sui costumi morali, sulla cultura del clero, l'uso della proprietà che veniva accettata e poi ceduta in enfiteusi ai poveri per una somma irrisoria, sulla vita spirituale riportata alle sue altezze nei concetti fondamentali di espiazione del peccato e di contemplazione dei misteri di Cristo, di carità fraterna spirituale (anni di penitenza) per i defunti e corporale per i vivi. Preparò e costruì da parte sua la rinascita dei secc. XIII e XIV, compresa la spiritualità degli Ordini mendicanti.
Guido Monaco (1050), con tutta probabilità, fu e morì a F. A.; S. Ubaldo vi risiedeva di frequente. Da F. A. uscirono 54 vescovi e ca. 76 uomini illustri per santità fra i quali S. Giovanni da Lodi (1105), S. Raniero (1180), S. Rinaldo (1225), S. Albertino (1244).