Bien avant l'arrivée de la famille Iwasaki, ce terrain appartenait à la classe des samouraïs. À l'époque d'Edo, il s'agissait d'un domaine de daimyo du clan Sakakibara, du fief d'Echigo-Takada. Lorsque l'ancien ordre s'effondra au début de l'ère Meiji, le terrain passa à la famille Makino, de l'ancien fief de Maizuru. En 1871, l'abolition des fiefs renvoya de nombreux seigneurs dans leurs anciens territoires, et les propriétés de Tokyo furent presque laissées vides et envahies par la végétation. Le gouvernement les prit en charge, et cette parcelle fut ensuite confiée à Kirino Toshiaki, un officier de l'armée de Satsuma plus connu sous le nom de Nakamura Hanjiro, surnommé Hanjiro le tueur d'hommes. Il était un subordonné de Saigo Takamori. En 1878, le fondateur de Mitsubishi, Iwasaki Yataro, y établit sa résidence, et le domaine passa ensuite à son fils Iwasaki Hisaya. Comme le terrain changea de mains si souvent, aucun plan du jardin de l'époque Iwasaki ne subsiste, et une grande partie de son aspect initial reste incertaine. On sait toutefois que le nouveau domaine conserva l'esprit d'un jardin de daimyo, avec des pierres de jardin, des lanternes de pierre et des collines artificielles, aux côtés d'une vaste pelouse à l'occidentale.