Struttura forse quattrocentesca, ma con forti modifiche successive, in particolare nella corte del castello medievale, ad opera del cardinale Carlo Camillo Massimo II intorno al 1650.
Una breve rampa conduce al portone d’ingresso: sale e stanze interne sono state restaurate in modo elegante. In un grande salone c’è una gigantesca macina di pietra con una splendida base anch’essa in pietra e un torchio in legno a vite. E’ il frantoio a trazione animale fatto costruire nel 1786 dalla famiglia Gabrielli nel cortile del palazzo.  Nella Cappella del Principe, grande affresco della Natività.
Oggi, il palazzo in Via Umberto I ospita la Biblioteca comunalee il Museo della Massoneria.