Disposta sulla cima di uno sperone dei Monti Lepini, Roccagorga sorge a 289 metri sul livello del mare.

Le fonti letterarie riferiscono che l’origine del paese risale alla distruzione della antica Privernum. Si narra infatti che: “alcuni privernati, essendo stato distrutto Priverno, antica metropoli dei Volsci, guidati da una certa Gorga, matrona di quella città, si rifugiarono su questo sito e vi edificarono un palazzo ed una rocca che prese il nome di "Rocca di Gorga".