No início de 1486, a área do Pátio de San Martín foi designada sede do Tribunal do Santo Ofício da Inquisição e foram criadas salas adjacentes ao pátio para albergar os funcionários desta organização. Esta é provavelmente a origem da utilização da Torre del Trovador como prisão. Em alguns livros aparece o ano de 1485.
Esta organização esteve sediada na Aljafería até que em 1706 se mudou para a Plaza del Carmen e, após várias mudanças de sede, em 1759 para o palácio Villahermosa, na rua de Predicadores; Não é ousado assumir que quando tais alterações foram feitas foi porque o edifício da Aljafería devia estar em mau estado de conservação, o que aumentaria com o abandono, permanecendo em parcial ruína até à instalação do quartel. (Beltrán, A. (1970). La Aljafería. Câmara Municipal de Saragoça. p. 111).
A nova função (que duraria até aos primeiros anos do século) desencadeou um acontecimento que culminaria num projecto de reforma empreendido sob o mandato de Filipe II, que passaria a ser uma base militar. Numerosas obras foram realizadas na Aljafería para transformá-la em cidadela. Em 1591, nos acontecimentos conhecidos como Alteraciones de Zaragoza, o perseguido secretário do rei Filipe II, Antonio Pérez "Antonio Pérez (secretário real)") aproveitou o Privilégio de Manifestação contemplado pela jurisdição de Aragão para iludir as tropas imperiais. No entanto, o Tribunal da Inquisição tinha jurisdição sobre todas as jurisdições dos reinos, e, por isso, foi confinado nas masmorras da sede inquisitorial da Aljafería, o que provocou uma revolta do povo face ao que consideravam uma violação do direito regional, e foram ao assalto à Aljafería para o resgatar. Após a acção contundente do exército real, a revolta foi reprimida e Filipe II decidiu consolidar a Aljafería como uma cidadela fortificada sob a sua autoridade para evitar revoltas semelhantes.
A concepção da obra, que consistia num edifício militar "moderno", foi confiada ao engenheiro militar sienense, Tiburzio Spannocchi. Construiu um conjunto de salas anexas às paredes sul e nascente que ocultavam no seu interior as torres ultra-semicirculares, embora na fachada nascente não afectasse as que ladeavam a porta de entrada e destas em diante. Circundando todo o edifício, foi construído um muro com ameias que deixava espaço para uma passarela no interior e terminava nos seus quatro cantos em quatro baluartes pentagonais, cujos inícios ainda hoje podem ser vistos. Todo o complexo foi rodeado por um fosso de vinte metros de largura, reescavado em 1982 por iniciativa do arquitecto Ángel Peropadre Muniesa"), que era atravessado por duas pontes levadiças nos flancos leste e sul. O aparecimento deste novo plano reflecte-se no plano da Aljafería tal como a conhecemos após a última restauração concluída em 1998.
A Aljafería de Spannocchi permaneceu sem alterações substanciais até 1705, quando devido à Guerra da Sucessão Espanhola foi o alojamento de duas companhias de tropas francesas, o que levou a um aumento dos parapeitos da parede inferior do fosso realizado pelo engenheiro militar Dezveheforz.
Mas a transformação decisiva em quartel ocorreu em 1772, por iniciativa de Carlos III, em que todas as fachadas foram remodeladas à forma como se apresenta actualmente a fachada ocidental, e que converteu os espaços interiores em quartos para os soldados e oficiais que permaneciam no edifício. No terço poente do palácio foi configurado um grande pátio para onde desaguam as salas das diferentes empresas, feito com simplicidade e funcionalidade, seguindo o espírito racionalista da segunda metade do século XVIII e a finalidade prática para a qual foram aproveitados os espaços então construídos. A única coisa que ficou pendente foi a adição, em 1862, de quatro torres neogóticas, das quais as localizadas no canto noroeste e sudoeste sobreviveram até hoje.
A parte militar era constituída por um grande fosso, com escarpa e contraescarpa e uma fortificação de quatro cortinas construída com barbeta na parede da escarpa que avança formando um caminho coberto e um passeio que percorre todo o perímetro. O fosso era atravessado em frente à porta principal por uma ponte de tijolo, posteriormente substituída por uma de madeira com ponte levadiça. (Beltrán, A. (1970). La Aljafería. Câmara Municipal de Saragoça. p. 114-115).
A reforma de Filipe V colocou o castelo em condições de albergar cerca de 3.000 homens, mais como quartel do que como fortaleza e, em última análise, causou poucos danos às estruturas essenciais. (Beltrán, A. (1970). La Aljafería. Câmara Municipal de Saragoça. p. 117).
Foi precisamente em meados do século que Mariano Nougués Secall deu o alarme sobre a deterioração dos vestígios andaluzes e mudéjares do palácio no seu relatório de 1845 intitulado Descrição e história do castelo da Aljafería, um estudo rigoroso no qual apelava à preservação deste valioso conjunto histórico-artístico. Até a Rainha Isabel II contribuiu com fundos para a restauração, porque em julho de 1845 visitou a Aljafería e sabemos que por isso os quartos foram caiados e alguns foram limpos, e foi criada uma comissão em 1848 para realizá-la; Mas em 1862 a Aljafería passou da propriedade do Património Real para as mãos do Ministério da Guerra, que abortou a sua restauração e agravou os danos causados. O objetivo era garantir que nada permanecesse de pé no antigo palácio árabe, nem mesmo a mesquita.
O castelo assumiu então o aspecto de quartel que tinha até recentemente, com quatro torres angulares, um exterior monótono em tijolo com três pisos sobre os quais se destacava a pequena torre, então construída ou renovada; O Parque de Artilharia transformou os salões reais em depósitos de armas e tudo foi mascarado e mudado; A torre do Trovador era o alojamento e as masmorras do mestre armeiro. De tanta desolação restou muito pouco e em muito pouco tempo até os nomes das salas dos <<os mármores>>, da <<Lareira>>, dos <<Paramentos>>, dos <<Jarros>> foram esquecidos, pois nem mesmo foram feitos planos ou anotadas o que foi destruído. (Beltrán, A. (1970). La Aljafería. Câmara Municipal de Saragoça. p. 119).
A deterioração continuou até 1947, quando o arquitecto Francisco Íñiguez Almech empreendeu, praticamente sozinho, a tarefa da sua restauração integral, na qual esteve ocupado até à sua morte em 1982.
Na década de 1960 foi utilizado como quartel militar e a decoração foi revestida com gesso.
Em 1984, a comissão parlamentar criada para procurar uma sede definitiva para as Cortes de Aragão recomendou a localização do parlamento regional no palácio da Aljafería e a Câmara Municipal de Saragoça (proprietária do edifício) concordou em ceder gratuitamente parte do complexo para este fim por um período de 99 anos.
Desta forma, as operações de restauro ganharam novo impulso com as ações de Ángel Peropadre, Juan Antonio Souto (nos trabalhos arqueológicos) e, a partir de 1985, de Luis Franco Lahoz e Mariano Pemán Gavín, que realizaram o projeto final de restauro da Aljafería para a localização da sede das Cortes de Aragão.
Concluídas as obras, a Aljafería foi inaugurada como monumento histórico-artístico em 1998 pelo Príncipe Felipe de Borbón.
“Hospital, sede da Inquisição e agora epicentro da democracia aragonesa, o processo de resgate daquele sonhado palácio islâmico começou muitos anos antes da criação das Cortes de Aragão e a sua reforma só foi concluída em 1998. “Um processo de resgate que começou na década de 50 e foi iniciado pelo professor e arquitecto Francisco Íñiguez, que está a eliminar partes do antigo quartel e a recuperar aquele perdido e sonhado palácio islâmico que estava debaixo do quartel”, explicaram os arquitectos do quartel. trabalho final, Mariano Pemán e Luis Franco.
A reforma custaria mais de 200 milhões de pesetas, o que equivaleria, agora, a 1.200.000 euros. O resultado é um edifício onde coexistem múltiplos estilos e que partilha a sua utilização parlamentar com a sua utilização turística.''