Poucos santuários percorreram tanto quanto este. Após a fuga para Akagawa, uma sacerdotisa do santuário chamada Ichime recebeu uma mensagem divina e, por volta de 1649, levou a divindade de volta para Motomachi, ao antigo local da residência Kono. Então a história interveio outra vez. Em 1799, o xogunato assumiu o controle direto da parte leste de Ezo e planejou um escritório de magistrado, e o terreno do santuário era necessário para isso. Em 1804, o santuário foi realocado, às custas do xogunato, para o distrito de Kaisho-machi. No período Edo, ele também é lembrado como um local de orações para o escritório do magistrado de Hakodate. A era Meiji trouxe mais mudanças. A Comissão de Desenvolvimento de Hokkaido declarou o santuário objeto de reverência em 1871, e em 1877 ele foi classificado como pequeno santuário nacional. Um incêndio em 1878 destruiu seus edifícios. Novos salões foram construídos no local atual com fundos do governo, e a divindade foi enshrinada aqui em 1880. Em 1896, o santuário foi elevado à categoria de santuário nacional médio. Em 1936, o imperador Showa, em visita a Hakodate, veio prestar seus respeitos aqui. Após a guerra, ele aderiu à Associação de Santuários Xintoístas e tornou-se um dos seus santuários especiais em 1948.