La situación estratégica de la ciudad propició la construcción de la primera muralla (1362), bajo mandato del rey Jaume II, aunque los constantes ataques acabaron dañando su estructura, quedando prácticamente derruida. Durante el reinado de Felipe II (finales del siglo XVI) se inició una nueva fase constructiva de estilo renacentista, pero la muralla se derrumbó nuevamente a finales del siglo XIX.

Se trataba de una estructura cuadrangular con 26 torres distribuidas a lo largo de un perímetro de 1,5 km y una altura media de 6 m. Contaba con un foso, que aún existe. De la muralla original se conservan dos puertas: la "porta" del Moll o de Xara, al este, y la "porta" de Sant Sebastiá, al oeste. 

Del segundo recinto sólo se conserva el baluarte de Sant Ferran, ya que en su interior se construyó la plaza de toros. En su estructura aún se aprecia el cordón de refuerzo que lo remata y una garita de vigilancia. En 1974 fue declarado Conjunto Histórico Artístico.