La historia de Takayama como ciudad es dramática, y enmarca cualquier santuario que visiten aquí. Tras la batalla de Sekigahara y el ascenso del shogunato Tokugawa, Tokugawa Ieyasu otorgó la provincia de Hida a Kanamori Nagachika. Este se convirtió en daimyō del dominio de Hida-Takayama, de 38 000 koku, y construyó el castillo de Takayama. En 1692 el clan Kanamori fue trasladado al dominio de Kaminoyama, en la provincia de Dewa. Hida era rica en oro, plata, cobre y su famosa madera, así que el shogunato mantuvo toda la provincia bajo su control directo. El castillo de Takayama fue destruido, y la residencia inferior al pie del castillo se convirtió en el daikansho, la casa y oficina combinadas del administrador designado por el shōgun. Ese complejo, el Takayama Jin'ya, cumplió esta función desde 1692 hasta 1871, y hoy sigue en pie. Este es el escenario de los santuarios y barrios de Takayama: una ciudad de montaña que era valorada, y vigilada de cerca, por sus recursos.