A história começa em 1616, com Ieyasu gravemente doente. Ele convocou dois homens à sua cabeceira: o monge Tenkai, que serviu três xóguns Tokugawa, e o daimyo Tōdō Takatora. Seu pedido era que se criasse um lugar onde os três pudessem descansar juntos em espírito por um tempo muito longo. A expressão para isso é "três pessoas, um lugar". Ela também é a origem do nome alternativo deste santuário, Sansho Gongen. Tenkai levou aquele desejo a sério. O segundo xógum, Hidetada, concedeu-lhe o terreno que hoje é o Parque Ueno, onde vários senhores, incluindo Tōdō Takatora, tinham suas residências secundárias. Tenkai fundou ali o grande templo Kan'ei-ji. Como a colina de Ueno fica no nordeste, a direção desfavorável para o Castelo de Edo, ele a concebeu como uma contraparte oriental do Monte Hiei, que protege o nordeste de Kyoto. Dentro dos terrenos do Kan'ei-ji, foram construídos muitos salões e subtemplos. Em 1627, um deles foi o precursor do santuário atual, inicialmente chamado Tōshō-sha. Ele recebeu formalmente o título de santuário, um gū, pela corte imperial em 1646. E, apesar da sua origem xogunal, ele não permaneceu exclusivo. O povo de Edo que admirava Ieyasu passou a vir em grande número para cultuá-lo aqui, de modo que se tornou um santuário aberto aos habitantes comuns da cidade.