Para entender por que este santuário importa, acompanhe a família Fujiwara. Fuhito, que recebeu a primeira divindade aqui, viu sua filha se tornar imperatriz consorte do imperador Shomu e tornou-se avô da imperatriz Koken. De seus filhos surgiram as cinco casas regentes: Konoe, Kujo, Nijo, Ichijo e Takatsukasa. Com laços tão estreitos com o trono, Kasuga conquistou profunda reverência da corte imperial, e a fé se espalhou. Os santuários filiais pelo país somam cerca de 3000. O brasão do santuário, a glicínia pendente, recorda a família a quem ele servia. Em 1135, no final do período Heian, foi acrescentado outro santuário chamado Wakamiya, e seu festival, o Kasuga Wakamiya On-matsuri, continua sendo um dos eventos anuais mais conhecidos de Nara. Então veio um ponto de virada. Por séculos, o santuário e o grande templo Kofuku-ji estiveram unidos em uma fé mesclada de xintoísmo e budismo. Em 1868, uma ordem que separou as duas religiões desencadeou uma onda de destruição anti-budista em todo o Japão, e o Kofuku-ji sofreu duramente. Edifícios do santuário ligados ao templo foram renomeados, reaproveitados ou demolidos, e imagens e objetos budistas foram retirados. Em 1871, o santuário adotou o nome Kasuga Jinja. Em 1946, passou a se chamar Kasuga-taisha, para não ser confundido com os muitos outros santuários Kasuga. Em 1998, ele entrou na lista do Patrimônio Mundial.