Il Castello della Rancia venne fatto costruire nel 1100 dai monaci benedettini, che eressero più precisamente una grancia, cioè una fattoria e deposito di derrate alimentari dipendente da una abbazia. Il maniero vero e proprio fu costruito nel 1300 su queste preesistenti fondamenta, caratterizzato da una possente torre maestra e da merlature ghibelline a sormontare tutta la struttura a pianta rettangolare. Il mastio, nucleo originario della preesistente grancia, è alto circa 30 metri ed è costituito da 4 piani. Il castello nel corso dei secoli passò di proprietà in proprietà, da Girolamo Riario nel XV secolo, a Guidobaldo Della Rovere ai Marchesi Bandini. Il maniero è inoltre famoso per un avvenimento storico del 1815, la battaglia della Rancia, in cui l'esercito austriaco sconfisse Gioacchino Murat proprio davanti alle sue mura.