La tradición propia del santuario comienza en 1445. Ese año, un señor llamado Kono Masamichi, que gobernaba el distrito de Kameda, habría construido una fortaleza en lo que hoy es el área de Motomachi de Hakodate. En su esquina sudoriental entronizó a Hachiman, la deidad del guerrero y protectora. Tradicionalmente, el lugar se sitúa cerca del actual salón público de Motomachi. Esa fortaleza también está ligada al nombre de la ciudad. La leyenda cuenta que la fortaleza tenía forma de caja, y que la palabra para caja en la antigua escritura del nombre de la ciudad dio a Hakodate su identidad. Considérelo una leyenda local y no un hecho comprobado, pero muestra lo estrechamente que este santuario está entretejido con el origen de la ciudad. Los primeros siglos fueron turbulentos. A comienzos del siglo XVI, el clan Kono fue expulsado de su fortaleza por atacantes llegados desde el lado de Ezo. La familia huyó a la aldea de Akagawa, en la zona hoy llamada Akagawa-cho de Hakodate, llevando consigo a la deidad. Así, el dios de la fortaleza se convirtió en refugiado, y el santuario sobrevivió porque la gente lo puso a salvo.