Iniziamo dall'idea alla base del luogo. Nella credenza del periodo Edo, il nord-est era la direzione della porta dei demoni, il quadrante da cui si pensava arrivassero le sventure. L'angolo nord-orientale del castello di Edo aveva bisogno di protezione, e il monaco Tenkai, in seguito onorato come Jigen Daishi, consigliò allo shogunato di costruirvi un tempio. La residenza principale del tempio fu completata nel 1625. Il nome porta con sé la propria data. Il tempio ricevette il titolo imperiale dal nome dell'era dei suoi anni di fondazione, Kan'ei, da cui deriva il nome Kan'eiji. Il fondatore, in senso formale, fu il terzo shogun Tokugawa, Tokugawa Iemitsu, mentre Tenkai fece da monaco guida dietro al progetto. E il piano era ambizioso. Come il monte Hiei proteggeva l'antica capitale di Kyoto, la collina di Kan'eiji doveva proteggere la nuova capitale degli shogun. La collina e il tempio insieme erano una dichiarazione su dove risiedesse ora il potere.