Il castello di Pavone è antichissimo; risale infatti già al IX secolo la costruzione delle sue mura fortificate. Furono invece edificati gradualmente nei secoli successivi la torre d'ingresso, il mastio, le quattro torri circolari e le ali laterali. Nell'800 il castello divenne di proprietà dello Stato, e poi di Alfredo D'Andrade. Grazie a quest'ultimo si intrapresero importanti lavori di restauro che riuscirono a dare al maniero le splendide sembianze attuali. Oggi il castello ospita un albergo-ristorante.