L'histoire de Takayama en tant que ville est dramatique, et elle encadre tout sanctuaire que vous visitez ici. Après la bataille de Sekigahara et l'essor du shogunat Tokugawa, Tokugawa Ieyasu confia la province de Hida à Kanamori Nagachika. Il devint daimyo du domaine de Hida-Takayama, d'un revenu de 38 000 koku, et fit construire le château de Takayama. En 1692, le clan Kanamori fut transféré au domaine de Kaminoyama, dans la province de Dewa. Hida était riche en or, en argent, en cuivre et en son célèbre bois, si bien que le shogunat garda l'ensemble de la province sous son contrôle direct. Le château de Takayama fut détruit, et la résidence inférieure située au pied du château fut transformée en daikansho, la demeure et le bureau réunis de l'administrateur nommé par le shogun. Ce complexe, le Takayama Jin'ya, remplit ce rôle de 1692 à 1871, et il subsiste aujourd'hui. C'est le cadre des sanctuaires et des quartiers de Takayama : une ville de montagne appréciée, et surveillée de près, pour ses ressources.