Pour comprendre pourquoi ce sanctuaire compte, suivez la famille Fujiwara. Fuhito, qui accueillit ici la première divinité, vit sa fille devenir impératrice consort de l'empereur Shomu, et devint le grand-père de l'impératrice Koken. De ses fils sont issues les cinq maisons régentes : Konoe, Kujo, Nijo, Ichijo et Takatsukasa. Grâce à ces liens étroits avec le trône, Kasuga gagna un profond respect de la cour impériale, et la foi se répandit. Les sanctuaires affiliés à travers le pays sont au nombre d'environ 3000. L'emblème du sanctuaire, la glycine retombante, rappelle la famille qu'il servait. En 1135, à la fin de l'époque de Heian, un sanctuaire supplémentaire appelé Wakamiya fut ajouté, et sa fête, le Kasuga Wakamiya On-matsuri, reste l'un des événements annuels les plus connus de Nara. Vint alors un tournant. Pendant des siècles, le sanctuaire et le grand temple Kofuku-ji avaient été unis dans une foi mêlant shintoïsme et bouddhisme. En 1868, un décret séparant les deux religions déclencha une vague de destructions anti-bouddhistes à travers le Japon, et le Kofuku-ji souffrit lourdement. Les bâtiments du sanctuaire liés au temple furent rebaptisés, réaffectés ou démolis, et les images et objets bouddhistes furent retirés. En 1871, le sanctuaire prit le nom de Kasuga Jinja. En 1946, il devint le Kasuga-taisha, afin de ne pas être confondu avec les nombreux autres sanctuaires Kasuga. En 1998, il rejoignit la liste du patrimoine mondial.