Roccagorga si trova su uno sperone di roccia del monte Nero (metri 547 s. l. m.) interamente rivestito di vigneti e di splendidi uliveti.
Il disegno urbano è caratterizzato dalla piazza (Piazza 6 Gennaio), che nell‘organizzazione attuale è barocca, posta al centro dei due vecchi simboli del potere, tra la doppia gradinata del Palazzo del Barone e la doppia rampa che immette alla Chiesa Parrocchiale. I giardini, al di sotto del palazzo feudale, e il luogo di sosta sotto la chiesa, la cosiddetta Rifolta, pongono ancora spazio tra la piazza e i due edifici. Intorno si sviluppano i vicoli che ricordano l’assetto bipolare tipico d tutti i centri italiani di origine medioevale.
La sua origine si fa risalire ai secoli VIII-IX d.C., quando i fuggiaschi della distrutta Priverno, capeggiati dalla matrona Gorga, fondarono un centro fortificato, l‘odierna Roccagorga. Questa fu possedimento della potente famiglia dei De Ceccano, che avevano feudi in tutta la zona. Nel punto più alto del nuovo feudo i De Ceccano costruirono una robusta torre quadrangolare, che poteva comunicare mediante segnalazioni con le torri di Maenza, di Asprano, di Monte Acuto. Nel 1431 Roccagorga passò ai Caetani di Maenza, che subito provvidero a far costruire una nuova cinta muraria per rafforzare le difese del paese. Nel 1512 le truppe comandate da Giovanni delle Bande Nere, inviate dal papa Leone X su richiesta di Camillo Caetani di Sermoneta, misero a ferro e fuoco il paese, uccidendo molte persone e distruggendo alcune case.
Nel 1617 Prospero Caetani vendette i suoi possedimenti agli Aldobrandini, creando così le premesse per una rinascita edilizia dell’intero centro. Infatti gli Aldobrandini si presero cura di modificare il secolare abitato, predisposto secondo lo schema a scudo per difesa, in uno schema aperto, in cui lo sviluppo lineare fosse predominante. Gli Aldobrandini applicarono per Roccagorga i canoni urbanistici dell’arte barocca, realizzando uno dei più felici modelli esistenti nel Lazio. I nuovo agglomerato ebbe sempre più l’aspetto di un centro abitato in cui la funzione residenziale – amministrativa prevalesse nettamente su quella difensiva. Nel 1642 gli Aldobrandini vendettero per 30mila scudi Roccagorga alla famiglia Ginnetti di Velletri, la quale portò a completamento il progetto urbanistico precedente. Nel 1722 il feudo di Roccagorga salì agli onori della cronaca nazionale, a causa di un drappello di soldati che sparò sulla folla in protesta per le cattive condizioni economiche in cui versavano, uccidendo uomini, donne e bambini.