La storia comincia nel 1616, quando Ieyasu è gravemente malato. Convocò al suo capezzale due uomini: il monaco Tenkai, che servì tre shogun Tokugawa, e il daimyō Tōdō Takatora. La sua richiesta era che venisse creato un luogo in cui tutti e tre potessero riposare insieme nello spirito per un tempo molto lungo. L'espressione per questo è «tre persone, un luogo». È anche l'origine del nome alternativo di questo santuario, Sansho Gongen. Tenkai prese sul serio quel desiderio. Il secondo shogun, Hidetada, gli concesse il terreno oggi occupato dal Parco di Ueno, dove diversi signori, tra cui Tōdō Takatora, avevano le loro residenze secondarie. Tenkai vi fondò il grande tempio Kan'ei-ji. Poiché la collina di Ueno si trova a nord-est, la direzione sfavorevole per il Castello di Edo, la concepì come una controparte orientale del Monte Hiei, che protegge il nord-est di Kyoto. Entro il recinto di Kan'ei-ji furono costruiti numerosi padiglioni e sotto-templi. Nel 1627 uno di questi fu il precursore dell'attuale santuario, inizialmente chiamato Tōshō-sha. Nel 1646 la corte imperiale gli conferì formalmente il titolo di santuario, un gū. E nonostante la sua origine shogunale, non rimase esclusivo. Gli abitanti di Edo che ammiravano Ieyasu vi giunsero numerosi per venerarlo, e così divenne un santuario aperto alla gente comune della città.