La terre sous vos pieds a une histoire plus ancienne que le sanctuaire. Avant de devenir un lieu sacré, il s'agissait d'un domaine privé de résidences seigneuriales d'environ 20 000 tsubo, une unité de surface traditionnelle japonaise. Il appartenait depuis 1862 à Ikeda Yoshinori, seigneur du domaine de Tottori. Son descendant, le marquis Ikeda Nobumasa, quinzième chef de la famille Ikeda de l'ancien domaine d'Okayama, remit environ 12 000 tsubo de cette propriété privée à l'association commémorative. Cette portion devint l'enceinte du sanctuaire. Les 8000 tsubo restants prirent une autre voie. Aujourd'hui, ce terrain accueille le commissariat de police de Harajuku, un collège de l'arrondissement de Shibuya, la bibliothèque centrale de l'arrondissement de Shibuya et un ensemble d'appartements appelé Park Court Jingumae. Dans cet ensemble se trouve une salle de réception gérée directement par le sanctuaire, nommée Ruaru Togo. Ainsi, le domaine d'un seigneur est devenu un sanctuaire, une école, une bibliothèque et un quartier, tous à quelques minutes de marche les uns des autres.