La diocesi fu creata dal papa Innocenzo II il 9 apr. 1138 per soppressione di quella di Roselle. La diocesi rimase vacante dal 1858 al 1867. Dal 1925 il vescovo è delegato apostolico per la parte toscana dell'abbazia di SS. Vicenzo ed Anastasio alle Tre Fontane. È ricordata la prima volta quale feudo della famiglia Aldobrandeschi.
La Cattedrale, dedicata a S. Lorenzo, fu eretta tra il 1190 e il 1250, ma venne ricostruita da Sozzo di Pace Rustinchini senese nel 1294 e più volte, in seguito, restaurata. A sinistra si erge il campanile (1402) anch'esso ripetutamente rifatto. La facciata è a fasce di marmo bianco alternata con fasce rosse di marmo di Caldana. Sull'architrave Gesù Cristo tra i quattro Evangelisti; nella lunetta Madonna col Bambino tra due angeli, copia di C. Maccari dall'oratorio di S. Bernardino in Siena Giovanni d'Agostino.
L'interno è a croce latina con 3 navi divise da pilastri, restaurato nel 1540, nel 1666-69 e nel 1858-65. Il fonte battesimale è del senese Antonio di Ser Ghino del 1744; nel transetto, a destra, un Crocifisso in legno, del sec. XV; a sinistra la venerata cappella della Madonna delle Grazie, con dossale di Antonio di Ghino, che contiene la tavola dell'Assunta, ritenuta opera di Matteo di Giovanni, mentre nel presbiterio si trova parte di un trittico di San Pietro con s. Antonio e s. Girolamo. Altre chiese sono quella di S. Francesco, a una sola navata, con due Crocifissi lignei, l'uno dell'inizio del sec. XIV, l'altro del XV: a fianco della chiesa chiostro con puteale; la chiesa di S. Pietro con abside romanica. G. Possiede un Museo civico, le cui sale furono danneggiate dalla guerra, e un ragguardevole Museo sacro contenente opere d'arte già nel Duomo, nella chiesa della Misericordia e altrove. Le più notevoli sono la Madonna delle ciglie capolavoro di Stefano di Giovanni detto il Sestetta (1392-1450); la Madonna dell'uccellino attribuito a Pietro Lorenzetti; una tavoletta con Crocifisso, la Vergine e S. Giovanni (prima metà del sec. XIV); una Madonna detta della Sanità (sec. XIV), proveniente da un oratorio demolito, ecc.; vi sono pure corali del sec. XIII e una tazza bizantina col sacrificio d'Isacco.