Il Castello dei Conti di Modica è stato fatto costruire verso la metà del Trecento. Agli inizi del Quattrocento il maniero divenne di proprietà dei conti di Modica, che ne rimasero in possesso fino all'Ottocento, quando il castello venne trasformato in carcere. Il maniero, ad oggi in buono stato di conservazione dopo attenti restauri, è caratterizzato da una pianta romboidale e da quattro imponenti torri rotonde e quadrate in ordine alternato.