Il Castello di Pergine venne fatto costruire nel XIII secolo ed oggi è tra i migliori esempi di architettura medievale del territorio alpino. Si pensa anche che sia stato costruito ed abitato prima del 1200 da nobili longobardi, quando Pergine cadde nelle mani dei conti del Tirolo. Il maniero appartenne per tanto tempo ai duchi d'Austria sotto il regno di Margarete Maultasch e successivamente dell'imperatore Massimiliano I. Nel 1531 passò nelle mani dei Principi Vescovi di Trento. Stranamente l'impianto e la foggia del castello sono molto omogenei in quanto tutto o quasi risale all'epoca medievale. Questo perchè il maniero subì pochi rimaneggiamenti nel corso dei secoli, in quanto i soldati di stanza non ritennero mai di investire molto nella fortezza. Intorno al 1900 fu venduto ad una società tedesca che iniziò un azzardato intervento di restauro. Da allora il castello è stato adibito ad albergo e ristorante, anche se pianterreno e primo piano del palazzo sono sempre accessibili al pubblico. Nel 1956 il castello è stato acquistato dalla famiglia Oss.