Per capire perché questo santuario sia importante, seguite la famiglia Fujiwara. Fuhito, che accolse qui la prima divinità, vide la figlia diventare consorte dell'imperatore Shomu e divenne nonno dell'imperatrice Koken. Dai suoi figli nacquero le cinque case reggenti: Konoe, Kujo, Nijo, Ichijo e Takatsukasa. Con legami così stretti con il trono, il Kasuga ottenne una profonda venerazione dalla corte imperiale, e la fede si diffuse. I santuari secondari in tutto il paese sono circa 3000. Lo stemma del santuario, il glicine appeso, ricorda la famiglia che serviva. Nel 1135, nel tardo periodo Heian, fu aggiunto un ulteriore santuario chiamato Wakamiya, e la sua festa, il Kasuga Wakamiya On-matsuri, resta uno degli eventi annuali più noti di Nara. Poi arrivò una svolta. Per secoli il santuario e il grande tempio Kofuku-ji erano stati legati in una fede in cui shintoismo e buddhismo si mescolavano. Nel 1868 un decreto che separava le due religioni scatenò un'ondata di distruzioni anti-buddhiste in tutto il Giappone, e il Kofuku-ji subì gravi danni. Gli edifici del santuario collegati al tempio furono rinominati, riutilizzati o demoliti, e le immagini e gli arredi buddhisti furono rimossi. Nel 1871 il santuario assunse il nome di Kasuga Jinja. Nel 1946 divenne Kasuga-taisha, per non essere confuso con i tanti altri santuari Kasuga. Nel 1998 entrò nella lista del patrimonio mondiale.