El Jardín de San Carlos fue construido como castillo defensivo fuera de las murallas en el siglo XIV y quedaría unido a la ciudad en el XVI. Poco a poco fue perdiendo importancia como baluarte o "Fortaleza vieja" y, tras estallar el polvorín que contenía, fue abandonado hasta que ya en el siglo XVIII es recuperado como jardín por don Carlos F. de Croix.