La tierra que pisan tiene una historia más antigua que el santuario. Antes de convertirse en terreno sagrado, aquí había una mansión privada con una extensión de unos 20 000 tsubo, una unidad tradicional japonesa de superficie. Desde 1862 había pertenecido a Ikeda Yoshinori, señor del dominio de Tottori. Su descendiente, el marqués Ikeda Nobumasa, decimoquinto cabeza de la familia Ikeda del antiguo dominio de Okayama, cedió unos 12 000 tsubo de esa propiedad privada a la asociación conmemorativa. Esa porción se convirtió en los terrenos del santuario. El resto de los 8000 tsubo siguió otro destino. Hoy, en ese terreno se encuentran la comisaría de Harajuku, una escuela secundaria del distrito de Shibuya, la biblioteca central del distrito de Shibuya y un complejo de apartamentos llamado Park Court Jingumae. Dentro de ese complejo hay un salón de banquetes gestionado directamente por el santuario, llamado Ruaru Togo. Así, la finca de un señor feudal se ha convertido en santuario, escuela, biblioteca y barrio, todo a pocos minutos a pie entre sí.