Pour comprendre pourquoi un sanctuaire aussi ancien se trouve ici, il faut suivre deux déplacements. La tradition du sanctuaire dit qu'il a commencé en l'an 730, lorsqu'un clan d'origine Izumo appelé les Makanda Omi s'est installé dans le village de Shibazaki, dans la province de Musashi, et a vénéré la divinité Ōnamuchi no Mikoto comme leur dieu ancestral. Ce village se trouvait près de l'endroit où se trouvent aujourd'hui le quartier d'Ōtemachi à Tokyo et le monticule de Taira no Masakado, pas ici. Il y a aussi une histoire cachée dans le nom. C'était une terre où le grand sanctuaire d'Ise conservait ses rizières sacrées, appelées kanda, et un sanctuaire a été fondé pour protéger ce terrain et était connu sous le nom de Kanda no Miya. Vient ensuite le récit d'un esprit agité. La tradition veut que d'étranges perturbations ne cessaient d'éclater autour du monticule de Masakado et effrayaient les habitants, qui les comprenaient comme l'œuvre de son esprit en colère. Un moine errant de l'école Ji nommé Shinkyō est crédité d'avoir apaisé cet esprit, et en 1309, Masakado a été vénéré dans ce sanctuaire. Des siècles plus tard, à mesure que le château d'Edo s'agrandissait, le sanctuaire a été déplacé deux fois : d'abord à Kanda-dai au début du XVIIe siècle, puis, en 1616, à cet endroit exact, choisi pour garder le nord-est du château, la direction traditionnellement appelée la porte du démon. À partir de ce moment, il a servi de sanctuaire tutélaire général d'Edo.