Considerado símbolo de la ciudad, fue construido en el siglo X y está conformado por la alcazaba y dos albacaras. Destaca por el conjunto de torres que enlazaba los distintos tramos de murallas que rodeaban el castillo entre ellas la torre de la Reina Mora o de santa Ana, la torre Miranda, la torre del Racó de san Antonio, la torre Desmochada y la torre Octogonal y está declarado Bien de Interés Cultural. 
Actualmente, alberga en su interior el museo municipal de historia y arqueología.

Las vistas desde el castillo son espectaculares, tanto de la costa como del interior.