Il Castello di Brufa ha origini molto antiche, quelle dell'Umbria abitata dagli umbri, dagli etruschi e dai romani. Per questo motivo il castello è interessato da molte leggende, tra le quali quella in cui si narra che Giovanni da Capestrano, rinchiuso nelle celle di una torre del maniero, ebbe la visione di San Francesco. Il castello, nel Trecento, fu protagonista della nota e cruenta battaglia tra Perugia e la Chiesa di Roma.