Ce sanctuaire a été déplacé plus d'une fois, et son histoire commence dans les premières années de l'ère Meiji. Il fut fondé en 1868, ou en 1869 selon les sources, dans le quartier de Futaba à Hiroshima. Sa vocation était de pleurer les hommes du domaine de Hiroshima morts pendant la guerre de Boshin, le conflit civil qui accompagna la fin du shogunat Tokugawa et la naissance du Japon moderne. En 1934, le sanctuaire fut démonté et transféré sur un site voisin de l'ancien stade municipal de baseball de Hiroshima. En 1939, il prit le nom de sanctuaire Gokoku de Hiroshima, qu'il porte encore aujourd'hui. C'est sous cette forme que le sanctuaire se trouvait dans la ville en 1945. Puis vint la bombe atomique. Le sanctuaire fut détruit. En 1956, il fut reconstruit sur son site actuel, sur l'ancien terrain du château, grâce aux dons des habitants de Hiroshima. Des gens ordinaires ont payé pour le rétablir, et ce fait en dit long sur la signification du sanctuaire pour la ville.