Peu de sanctuaires ont autant voyagé que celui-ci. Après la fuite vers Akagawa, une prêtresse du sanctuaire nommée Ichime reçut un message divin et, vers 1649, ramena la divinité à Motomachi, sur l'ancien site de la résidence Kono. Puis l'histoire intervint à nouveau. En 1799, le shogunat prit sous son contrôle direct la partie orientale d'Ezo et prévut d'y établir un bureau de magistrat ; le terrain du sanctuaire fut alors nécessaire à ce projet. En 1804, le sanctuaire fut transféré, aux frais du shogunat, dans le quartier de Kaisho-machi. À l'époque d'Edo, il est aussi reconnu comme lieu de prière pour le bureau du magistrat de Hakodate. L'ère Meiji apporta de nouveaux changements. La Commission de mise en valeur de Hokkaido déclara le sanctuaire objet de vénération en 1871, puis, en 1877, il fut classé petit sanctuaire national. Un incendie en 1878 détruisit ses bâtiments. De nouveaux pavillons furent construits sur le site actuel grâce aux fonds publics, et la divinité y fut enshrinée en 1880. En 1896, le sanctuaire fut élevé au rang de sanctuaire national moyen. En 1936, l'empereur Showa, en visite à Hakodate, vint y rendre hommage. Après la guerre, il rejoignit l'Association des sanctuaires shinto et devint l'un de ses sanctuaires spéciaux en 1948.