Il Castello di Sermoneta venne fatto costruire tra il XIII ed il XVI secolo. Nel Quattrocento all'originaria cinta muraria venne aggiunto il bastione di San Sebastiano e nel Cinquecento ulteriori altre fortificazioni. Il maniero è passato alla storia soprattutto per essere stato l'ultima dimora del Papa Celestino V. Il castello fu per lungo tempo di proprietà della potente famiglia dei Caetani di Bonifacio VIII.