Per capire perché un santuario così antico si trovi qui, bisogna seguire due trasferimenti. La tradizione del santuario dice che ebbe inizio nell'anno 730, quando un clan di discendenza Izumo chiamato Makanda Omi si stabilì nel villaggio di Shibazaki, nella provincia di Musashi, e vi consacrò la divinità Ōnamuchi no Mikoto come proprio dio ancestrale. Quel villaggio sorgeva vicino a dove oggi si trovano il quartiere Ōtemachi di Tokyo e il tumulo di Taira no Masakado, non qui. C'è anche una storia nascosta nel nome. Questa era terra in cui il grande santuario di Ise custodiva le sue risaie sacre, chiamate kanda, e fu fondato un santuario per proteggere quel terreno, noto come Kanda no Miya. Poi arriva il racconto di uno spirito irrequieto. La tradizione sostiene che strani tumulti continuassero a scoppiare intorno al tumulo di Masakado e spaventassero la gente del luogo, che li interpretava come opera del suo spirito adirato. A un monaco itinerante della scuola Ji di nome Shinkyō è attribuito il merito di aver placato quello spirito, e nel 1309 Masakado fu consacrato in questo santuario. Secoli dopo, con l'espansione del castello di Edo, il santuario fu spostato due volte: prima a Kanda-dai all'inizio del XVII secolo, e poi, nel 1616, in questo preciso luogo, scelto per proteggere il lato nord-est del castello, la direzione tradizionalmente chiamata porta dei demoni. Da allora servì come santuario tutelare generale di Edo.