Posto nel punto più alto della frazione di Somasca, su un'altura naturale, si trova un antico complesso di fortezza risalente a tempi antichissimi che domina tutta l'area di Vercurago e del lago. Le prime notizie storiche giunte riguardo a questo castello risalgono al XIV secolo, quando lo si sa essere di proprietà dei Visconti, anche se con tutta probabilità esso venne ricostruito a partire da fortificazioni precedenti risalenti all'epoca carolingia, di cui si ha ampia testimonianza nel torrione centrale, ove attualmente si trova una cappella dedicata a San Girolamo, costruita nel 1902 recuperando parti dell'antico castello. La fortezza è oggi conosciuta meglio col nome di "Castello dell'Innominato", in quanto la tradizione vuole che questa struttura fosse stata una delle residenze di Francesco Bernardino Visconti, al quale Alessandro Manzoni si ispirò ne I Promessi Sposi per la creazione della figura dell'Innominato. Il complesso, oggi perlopiù ridotto a un rudere, era stato con tutta probabilità eretto nel merito delle fortificazioni che il paese subì durante gli anni degli scontri tra Milano e la Serenissima, ma è noto che già al tempo di San Girolamo Emiliani esso aveva perso gran parte della propria importanza strategica. La struttura venne in gran parte smantellata nel 1509 ad opera delle truppe francesi e la popolazione locale se ne servì successivamente al fine di ricavarvi del materiale da costruzione, fatto che ha pesantemente alterato il complesso nei secoli. Si conservano ancora intatti il muro perimetrale, parte dei bastioni difensivi e alcune torri, mentre gli spazi coperti e le cappelle presenti sulla sommità sono state in gran parte ricostruite in tempi successivi. Originale è anche la lunga scalinata per giungere al castello, direttamente scavata nella roccia.