A comienzos de 1486 la zona del Patio de San Martín se destina a sede del Tribunal del Santo Oficio de la Inquisición y se habilitan dependencias aledañas al patio para alojar a los oficiales de este organismo. Es probable que sea este el origen del uso como prisión de la Torre del Trovador. En algunos libros aparece el año 1485.
Este organismo estuvo alojado en la Aljafería hasta que en 1706 se trasladó a la plaza del Carmen y, tras varios cambios de sede, en 1759 al palacio de Villahermosa, en la calle de Predicadores; no es atrevido suponer que cuando se celebraron tales cambios es porque el edificio de la Aljafería debía estar en malas condiciones, que se aumentarían con el abandono, quedando en ruina parcial hasta la instalación de los cuarteles. (Beltrán, A. (1970). La Aljafería. Ayuntamiento de Zaragoza. p. 111).
La nueva función (que se prolongaría hasta los años iniciales del siglo ) desencadenó un suceso que culminaría con un proyecto de reforma emprendido bajo el mandato de Felipe II por el que se convertiría de aquí en adelante en una base militar. Se hicieron numerosas obras en la Aljafería para convertirla en ciudadela. En 1591, en los acontecimientos conocidos como Alteraciones de Zaragoza, el perseguido secretario del rey Felipe II, Antonio Pérez "Antonio Pérez (secretario real)") se acogió al Privilegio de Manifestación contemplado por el fuero de Aragón con el fin de eludir a las tropas imperiales. Sin embargo, el Tribunal de la Inquisición tenía jurisdicción sobre todos los fueros de los reinos, y, por esa causa, fue recluido en calabozos de la sede inquisitorial de la Aljafería, lo que provocó un levantamiento del pueblo ante lo que consideraron una violación del derecho foral, y acudieron al asalto de la Aljafería para rescatarlo. Tras la contundente actuación del ejército real, la revuelta fue sofocada, y Felipe II decidió consolidar la Aljafería como una ciudadela fortificada bajo su autoridad en prevención de revueltas similares.
El diseño de la obra, que consistió en una edificación militar «a la moderna», fue encargado al ingeniero militar sienés, Tiburzio Spannocchi. Este construyó un conjunto de habitáculos adosados a los muros sur y este que ocultaban los torreones ultrasemicirculares en su interior, aunque en la fachada este no afectó a los que flanqueaban la puerta de entrada y de estos en adelante. Rodeando todo el edificio, se levantó un muro almenado que dejaba en el interior un espacio de camino de ronda y que remataba en sus cuatro esquinas en cuatro baluartes de traza pentagonal, cuyos arranques se pueden contemplar en la actualidad. Todo el conjunto estaba circundado por un foso de veinte metros de anchura, reexcavado en 1982 por iniciativa del arquitecto Ángel Peropadre Muniesa"), que se salvaba mediante dos puentes levadizos en los flancos este y sur. El aspecto de esta nueva planta se refleja en el plano de la Aljafería tal y como lo conocemos tras la última restauración finalizada en 1998.
La Aljafería de Spannocchi se mantuvo sin cambios sustanciales hasta 1705, en que debido a la Guerra de Sucesión Española fue alojamiento de dos compañías de tropas francesas que llevó a un recrecimiento de los parapetos de la muralla baja del foso efectuado por el ingeniero militar Dezveheforz.
Pero la transformación decisiva como acuartelamiento se produjo en 1772 por iniciativa de Carlos III, en la que se remodelaron todas las fachadas al modo en que se presenta actualmente la occidental, y que convirtió los espacios interiores en dependencias para los soldados y oficiales que se alojaban en el edificio. En el tercio oeste del palacio se configuró un amplio patio de armas al que vierten las habitaciones de las distintas compañías, realizadas con sencillez y funcionalidad, siguiendo el espíritu racionalista de la segunda mitad del XVIII y el fin práctico a que se destinaron las zonas construidas entonces. Solo quedó pendiente la adición en 1862 de cuatro torreones neogóticos, de los que han llegado a nuestros días los situados en la esquina noroccidental y suroccidental.
La parte militar la constituía un gran foso, con escarpa y contraescarpa y una fortificación de cuatro cortinas construidas a barbeta sobre el muro de la escarpa que avanza formando camino cubierto y un paseo que recorre todo el perímetro. El foso se franqueaba delante de la puerta principal por un puente de ladrillo, sustituido después por otro de madera con rastrillo. (Beltrán, A. (1970). La Aljafería. Ayuntamiento de Zaragoza. p. 114-115).
La reforma de Felipe V puso al castillo en condiciones de albergar unos 3.000 hombres, más como cuartel que como fortaleza y, en definitiva, dañó poco las estructuras esenciales. (Beltrán, A. (1970). La Aljafería. Ayuntamiento de Zaragoza. p. 117).
Fue precisamente a mediados del siglo cuando Mariano Nougués Secall dio la voz de alarma por el deterioro que presentaban los restos andalusíes y mudéjares del palacio en su informe de 1845 titulado Descripción e historia del castillo de la Aljafería, un riguroso estudio en el que se instaba a preservar este valioso conjunto histórico-artístico. Incluso la reina Isabel II aportó fondos para la restauración, debido a que en julio de 1845 visitó la Aljafería y sabemos que por este motivo se blanquearon las estancias y algunas se limpiaron, y se creó una comisión en 1848 para emprenderla; pero en 1862 la Aljafería pasó de propiedad del Patrimonio Real a manos del Ministerio de la Guerra, lo que abortó su restauración y agravaría los daños producidos. Se trató de que no quedase nada en pie del viejo palacio árabe, ni siquiera de la mezquita.
Tomó entonces el castillo el aspecto cuartelero que ha tenido hasta hace poco, con cuatro torreones angulares, monótono exterior de ladrillo con tres plantas sobre las que sobresalía la torrecita, construida o remozada entonces; el Parque de Artillería convirtió los salones reales en depósitos de armas y todo se enmascaró y cambió; la torre del Trovador fue aposento del maestro armero y calabozos. De tanta desolación quedó muy poco y en muy poco tiempo se olvidaron hasta los nombres de las salas de <<los mármoles>>, de la <<Chimenea>>, de los <<Paramentos>>, de las <<Jarras>>, ya que ni siquiera se hicieron planos o se tomaron notas de lo destruido. (Beltrán, A. (1970). La Aljafería. Ayuntamiento de Zaragoza. p. 119).
El deterioro continuó hasta que en 1947 el arquitecto Francisco Íñiguez Almech emprendiera, prácticamente en solitario, la tarea de su restauración integral, en la que estuvo ocupado hasta su muerte en 1982.
En los años 1960 se usó como cuartel militar, y se cubrió de yeso el decorado.
En 1984, la comisión parlamentaria creada para buscar una sede definitiva a las Cortes de Aragón recomendó ubicar el parlamento autonómico en el palacio de la Aljafería y el Ayuntamiento de Zaragoza (propietario del edificio) acordó ceder gratuitamente parte del complejo para ello por un plazo de 99 años.[8]
De esta manera las operaciones de restauración tomaron un nuevo impulso con las actuaciones de Ángel Peropadre, Juan Antonio Souto (en labores arqueológicas), y, a partir de 1985, de Luis Franco Lahoz y Mariano Pemán Gavín, que llevaron a cabo el proyecto final de restauración de la Aljafería para la ubicación en él de la sede de las Cortes de Aragón.
Acabadas las obras, la Aljafería fue inaugurada como monumento histórico artístico en 1998 por el príncipe Felipe de Borbón.
‘’Hospital, sede de la Inquisición, y ahora, epicentro de la democracia aragonesa, el proceso para rescatar aquel soñado palacio islámico comenzó muchos años antes de que se constituyeran las Cortes de Aragón y su reforma no estuvo acabada hasta el año 1998. "Un proceso de rescate que comenzó en los años 50 y que lo inició el profesor y arquitecto Francisco Íñiguez, que va eliminando partes del antiguo cuartel y recuperando ese palacio islámico perdido y soñado que estaba debajo del cuartel", explicaban los arquitectos de la obra final, Mariano Pemán y Luis Franco.
La reforma costaría más de 200 millones de pesetas, lo que equivaldría, ahora, a un 1.200.000 euros. El resultado es un edificio en el que conviven múltiples estilos y que comparte su uso parlamentario con el turístico.’’.