Il castello di Castell'Alfero è stato costruito in epoca medievale e nei secoli passò di proprietà in proprietà; soprattutto la famiglia Amico conservò il maniero per molte generazioni. Il castello è ben conservato e deve l'attuale architettura ai lavori di rimaneggiamneto, avvenuti nel XVIII, su progetto di Benedetto Alfieri. Oggi il castello di Castell'Alfero ospita gli uffici comunali ed è proprio da questo castello che è iniziata la rassegna "castelli ombrosi" nel 1995, finalizzata alla celebrazione dei castelli più belli del territorio.