Comencemos por la idea que está detrás del lugar. En la creencia del periodo Edo, el noreste era la dirección de la puerta de los demonios, el cuadrante del que se pensaba que llegaba la desgracia. La esquina noreste del castillo de Edo necesitaba protección, y el monje Tenkai, más tarde honrado como Jigen Daishi, aconsejó al shogunato construir allí un templo. La residencia principal del templo se completó en 1625. El nombre lleva su propia fecha. El templo recibió su título imperial del nombre de la era de sus años fundacionales, Kan'ei, de donde procede el nombre Kan'eiji. El fundador, en sentido formal, fue el tercer shogun Tokugawa, Tokugawa Iemitsu, mientras que Tenkai actuó como el monje guía detrás del proyecto. Y el plan era ambicioso. Así como el monte Hiei protegía la antigua capital de Kioto, la colina de Kan'eiji debía proteger la nueva capital de los shogunes. La colina y el templo juntos eran una declaración sobre dónde residía ahora el poder.