L'histoire commence en 1616, alors que Ieyasu est gravement malade. Il convoqua deux hommes à son chevet : le moine Tenkai, qui servit trois shoguns Tokugawa, et le daimyo Tōdō Takatora. Sa demande était qu'un lieu soit créé où les trois hommes pourraient reposer ensemble en esprit pendant très longtemps. L'expression consacrée est « trois personnes, un seul lieu ». C'est aussi l'origine du nom alternatif de ce sanctuaire, Sansho Gongen. Tenkai prit ce souhait très au sérieux. Le deuxième shogun, Hidetada, lui accorda le terrain qui forme aujourd'hui le parc Ueno, où plusieurs seigneurs, dont Tōdō Takatora, possédaient leurs résidences secondaires. Tenkai y fonda le grand temple Kan'ei-ji. La colline d'Ueno se situant au nord-est, direction néfaste pour le château d'Edo, il la conçut comme une contrepartie orientale du mont Hiei, qui protège le nord-est de Kyoto. Dans l'enceinte de Kan'ei-ji, de nombreux halls et sous-temples furent construits. En 1627, l'un d'eux fut le précurseur du sanctuaire actuel, d'abord nommé Tōshō-sha. Il reçut officiellement le titre de sanctuaire, un gū, de la cour impériale en 1646. Malgré son origine shogunale, il ne resta pas exclusif. Les habitants d'Edo qui admiraient Ieyasu vinrent nombreux y prier, si bien qu'il devint un sanctuaire ouvert aux citadins ordinaires.