A terra sob seus pés tem uma história mais antiga que o santuário. Antes de se tornar solo sagrado, este era um terreno privado de mansão, com cerca de 20 000 tsubo, uma unidade tradicional japonesa de área. Desde 1862 pertencera a Ikeda Yoshinori, senhor do domínio de Tottori. Seu descendente, o marquês Ikeda Nobumasa, o décimo quinto chefe da família Ikeda do antigo domínio de Okayama, entregou cerca de 12 000 tsubo dessa propriedade privada à associação memorial. Essa porção se tornou o terreno do santuário. Os 8000 tsubo restantes seguiram outro caminho. Hoje, essa terra abriga a Delegacia de Harajuku, uma escola média do distrito de Shibuya, a biblioteca central do distrito de Shibuya e um complexo de apartamentos chamado Park Court Jingumae. Dentro desse complexo há um salão de banquetes administrado diretamente pelo santuário, chamado Ruaru Togo. Assim, a propriedade de um senhor feudal se tornou santuário, escola, biblioteca e bairro, tudo a poucos minutos de caminhada uns dos outros.