La historia comienza en 1616, cuando Ieyasu se encontraba gravemente enfermo. Llamó a su cabecera a dos hombres: el monje Tenkai, que sirvió a tres shogunes Tokugawa, y el daimyo Tōdō Takatora. Su petición fue que se construyera un lugar donde los tres pudieran descansar juntos en espíritu durante un larguísimo tiempo. La frase para ello es «tres personas, un lugar». También es el origen del nombre alternativo de este santuario, Sansho Gongen. Tenkai tomó ese deseo muy en serio. El segundo shogun, Hidetada, le concedió el terreno que hoy ocupa el parque Ueno, donde varios señores, entre ellos Tōdō Takatora, tenían sus residencias secundarias. Tenkai fundó allí el gran templo Kan'ei-ji. Como la colina de Ueno se encuentra al noreste, la dirección desafortunada para el castillo de Edo, lo concibió como una contraparte oriental del monte Hiei, que protege el noreste de Kioto. Dentro de los terrenos de Kan'ei-ji se construyeron numerosos salones y subtemplos. En 1627, uno de ellos fue el precursor del santuario actual, llamado primero Tōshō-sha. En 1646, la corte imperial le otorgó formalmente el título de santuario, un gū. Y pese a su linaje shogunal, no siguió siendo exclusivo. Los habitantes de Edo que admiraban a Ieyasu acudieron en gran número a venerarlo aquí, de modo que se convirtió en un santuario abierto a la gente común de la ciudad.