Il castello di Rivara è in realtà composto da due manieri, molto diversi tra di loro in quanto uno è più barocco, l'altro più medievale. Ciò si doveva riflettere moltissimo sui due impianti architettonici, anche se ad oggi questa differenza è meno visibile a causa dei rilevanti lavori di restauro eseguiti sui due manieri per volere del D'Andrade. Nell'800 nel castello di Rivara ebbe sede la Reale Accademia Militare. Oggi i due castelli presentano un'architettura sontuosa e i loro interni sono adibiti a spazi espositivi di arte contemporanea.