En el siglo XVI se establecieron alrededor de la fortaleza varias fundaciones religiosas: la que hizo San Francisco de Borja del Colegio de Jesuitas, el Convento de Franciscanos y el Convento de los Mercedarios. En este último es muy posible que estuviera durante un tiempo Fray Gabriel Téllez, más conocido como Tirso de Molina.