Cominciamo con una leggenda. Una storia del Trecento racconta di un cavaliere predone chiamato Eppelein von Gailingen. In attesa dell'esecuzione, si dice che sia fuggito facendo saltare il suo cavallo sul fossato del Castello Imperiale. È un racconto, non un evento documentato, ma mostra quanto il castello fosse radicato nell'immaginario locale. Dopo lo scioglimento del Sacro Romano Impero nel 1806, le truppe francesi occuparono Norimberga e, in base al Trattato della Confederazione del Reno, la cedettero alla Baviera. L'interesse per il castello si riaccese quando l'architettura medievale divenne di moda. Nel 1833 re Ludovico I incaricò Carl Alexander Heideloff di eseguire lavori di restauro, ma il sovrano non apprezzava lo stile neogotico e li fece interrompere. Nel 1866, dopo la sconfitta della Baviera in guerra, re Ludovico II dovette concedere a re Guglielmo I di Prussia una quota nell'uso del castello. L'imperatore Guglielmo II vi soggiornò in seguito più volte e, durante quei soggiorni, si fregiò del titolo di Burgravio di Norimberga. Poi arrivò il Novecento. Nel 1934 e nel 1935, sotto la direzione di Rudolf Esterer, fu rimossa la decorazione storicista ottocentesca. Il 2 gennaio 1945 un devastante bombardamento distrusse fino al settanta-ottanta per cento del castello. La ricostruzione, che comprese la torre Luginsland, completamente distrutta, fu completata nel 1981. Il castello ricostruito che vedete oggi è in gran parte un risultato del dopoguerra.