No século XVI, o imperador Carlos V decidiu transformar esta fortaleza robusta num magnífico palácio imperial digno do seu status de governante do Sacro Império Romano-Germânico. Ele encomendou aos renomados arquitetos Alonso de Covarrubias e, mais tarde, Juan de Herrera a criação da estrutura retangular de quatro torres que se vê hoje. Embora nunca tenha vivido para o ver terminado, a sua visão criou uma mistura única de estilos. Cada uma das quatro fachadas conta uma história arquitetônica diferente — desde os estilos decorativos Plateresco e Renascentista até o design Herreriano, mais sóbrio e austero. Se entrar no pátio central, repare na enorme estátua de bronze de Carlos V, uma réplica de uma obra famosa do artista Pompeio Leoni, que simboliza o triunfo do Imperador sobre as forças protestantes. Este pátio central, com os seus arcos de galeria de dois andares, foi concebido para impressionar os dignitários visitantes com a escala do poder espanhol.