Castel Clès è stato costruito nel 1100. Ma all'origine venne eretta solo una torre, benchè solida e sontuosa, detta Torre Antica. Solo successivamente a tale torre venne aggiunto il corpo residenziale, nel quale furono collocate le varie stanze ed i prestigiosi saloni feudali. Castel Clès è famoso in quanto legato alla figura importante del vescovo Bernardo Clesio. Nei secoli successivi il maniero visse anni difficili, come le rivolta contadina del 1500 o un forte incendio dell'Ottocento, ed anni di splendore. Oggi il castello, di proprietà dei Baroni di Clès, ci appare ancora come un gioiello, ricco com'è di finestre che alleggeriscono ed impreziosiscono tutto l'impianto arhitettonico, e con i suoi interni, che accolgono importanti affreschi forse del Fogolino.