Die Geschichte beginnt im Jahr 1616, als Ieyasu schwer krank war. Er ließ zwei Männer an sein Bett rufen: den Mönch Tenkai, der drei Tokugawa-Shogune diente, und den Daimyō Tōdō Takatora. Sein Wunsch war, dass ein Ort geschaffen werde, an dem die drei gemeinsam im Geiste für sehr lange Zeit ruhen könnten. Dafür steht die Formel „drei Menschen, ein Ort“. Daher stammt auch der alternative Name des Schreins, Sansho Gongen. Tenkai nahm diesen Wunsch ernst. Der zweite Shogun, Hidetada, überließ ihm das Land des heutigen Ueno-Parks, wo mehrere Lords, darunter Tōdō Takatora, Zweitresidenzen hatten. Dort gründete Tenkai den großen Tempel Kan'ei-ji. Da der Ueno-Hügel im Nordosten liegt, der für die Burg Edo ungünstigen Richtung, sah er ihn als östliches Gegenstück zum Berg Hiei, der den Nordosten von Kyoto bewacht. Auf dem Gelände von Kan'ei-ji entstanden viele Hallen und Unter-Tempel. 1627 war einer davon der Vorläufer des heutigen Schreins, zunächst Tōshō-sha genannt. Im Jahr 1646 verlieh ihm der kaiserliche Hof offiziell den Titel eines Schreins, eines gū. Trotz seiner shogunalen Herkunft blieb er jedoch nicht exklusiv. Die Menschen von Edo, die Ieyasu verehrten, kamen in großer Zahl zum Gebet, sodass er zu einem Schrein für die einfachen Stadtbewohner wurde.