A história de Takayama como cidade é dramática, e ela enquadra qualquer santuário que você visitar aqui. Depois da Batalha de Sekigahara e da ascensão do xogunato Tokugawa, Tokugawa Ieyasu concedeu a Província de Hida a Kanamori Nagachika. Ele se tornou daimyo do Domínio de Hida-Takayama, de 38.000 koku, e construiu o Castelo de Takayama. Em 1692, o clã Kanamori foi transferido para o Domínio de Kaminoyama, na Província de Dewa. Hida era rica em ouro, prata, cobre e em sua famosa madeira, por isso o xogunato manteve toda a província sob controle direto. O Castelo de Takayama foi destruído, e a residência inferior aos pés do castelo foi convertida em daikansho, a casa e escritório combinados do administrador nomeado pelo xogum. Esse complexo, o Takayama Jin'ya, cumpriu essa função de 1692 até 1871, e sobrevive até hoje. Este é o cenário dos santuários e bairros de Takayama: uma cidade de montanha que era valorizada, e de perto vigiada, por seus recursos.