Il Castello a Mare venne fatto costruire presumibilmente in epoca normanna, anche se molti storici ritengono su volere degli Arabi, in un punto che oggi coincide con l'area a nord del porto della Cala. Si tratta di uno dei complessi architettonici più antichi di Palermo e rappresenta il più importante baluardo difensivo del porto cittadino fino al Novecento. Residenza preferita da Federico II durante i suoi soggiorni a Palermo, rivestì per secoli la funzione principale di avamposto fortificato a protezione delle zone portuali. Nel corso dei secoli subì numerosi interventi e rimaneggiamenti: in epoca rinascimentale ad esempio fu adibito a residenza per accogliere i viceré spagnoli e, successivamente, divenne sede del Tribunale dell'Inquisizione. Nel periodo della dominazione borbonica divenne anche carcere. Durante la II guerra mondiale il maniero fu seriamente danneggiato ed oggi si presentano abbastanza integri solamente il corpo d'ingresso, la torre maestra e quella cilindrica.