Il Castello di Rosignano Marittimo ha origini molto antiche e si presume che il suo nucleo centrale sia stato eretto addirittura in epoca etrusca o romana. E' invece certo che in era medievale venne fatta costruire la fortezza vera e propria, comprensiva anche della chiesa di San Ilario e di suggestive torri circolari fatte costruire nel 1562 dalla famiglia De' Medici. Il castello si presenta in ottimo stato di conservazione grazie a recenti e sapienti lavori di restauro: proprio nel settembre 2008, nell'ambito di questo importante restauro, vi è stata l'inaugurazione del Palazzo della Fattoria Arcivescovile di Rosignano Marittimo, uno degli edifici più significativi del castello e che tornerà ad ospitare, tra l'altro, gli uffici di rappresentanza del Comune.