Secondo  le ipotesi dei maggiori storici, la collina dove sorge Zagarolo era il luogo dove vivevano e lavoravano i Sagarii. I molti insediamenti di epoca romana presenti nel territorio, fanno pensare che la zona  fosse tenuta in particolare considerazione, malgrado non ci siano documenti o altre fonti a provarlo. Le prime notizie certe risalgono al 970, quando il Papa Giovanni XIII donò questi territori a sua sorella Stefania  dei conti di Tuscolo.

A questa famiglia succedettero i  Colonna. In seguito alle lotte di potere intraprese  tra le grandi famiglie nel 1627 Zagarolo fu espugnata dalle truppe del papa e distrutta insieme alla vicina Palestrina. Nel 1400 i colonna si sottomisero alla volontà del Papa e la pace durò fino al 1435 quando Zagarolo divenne il quartier generale di Lorenzo Colonna nella guerra contro il papato e Zagarolo venne nuovamente distrutto dal Cardinal Vitelleschi  nel 1439.
 
Nella metà del 1500  la città, risorta ad opera dei Colonna, venne riconosciuta feudo di Vittoria Colonna che insieme  al marito diede al territorio uno statuto.
 
Nel secolo XVII inizia per il ducato di Zagarolo una fase di decadenza causata dalle enormi spese sostenute da Marzio Colonna per ampliare ed abbellire il Paese.
 
Oberato dai debiti Pierfrancesco Colonna,  nel 1622, fu costretto a vendere il ducato di Zagarolo  e lo cedette al Cardinale Ludovico Ludovisi che morì pochi anni dopo l’acquisto del Ducato lasciando erede il fratello Nicolò.
 
Ai Ludovisi va dato il merito di aver commissionato nel 1635 ad Andrea Carone, loro vassallo, un censimento storico-economico del Ducato di Zagarolo (copia del manoscirtto è in possesso dell’Associazione “Amici di Zagarolo).
 
Il possesso del Ducato da parte dei Ludovisi fu relativamente  breve: dopo la morte del cardinale gli eredi non ebbero  molto interesse a tenerlo tanto che il 26 giugno 1670 fu venduto a Giovanni Battista  Rospigliosi.
 
I Rospigliosi si occuparono principalmente della ricostruzione del palazzo (ricostruzione dell’arco trionfale) e della costruzione della chiesa di San Pietro.
 
Durante il possesso del feudo  da parte dei Ropsigliosi il Palazzo fu sede di diversi avvenimenti e ospitò tra le sue mura personaggi illustri fra i quali re Carlo VIII di Borbone.
 
La famiglia Rospigliosi perse il potere feudale agli inizi del secolo XIX ma rimase proprietaria del Palazzo il quale venne successivamente ereditato dalla principessa Pallavicini che lo vendette al Comune nel 1979.