Lange bevor die Familie Iwasaki hierherkam, gehörte dieses Gelände zur Samurai-Klasse. In der Edo-Zeit war es ein Daimyo-Anwesen des Sakakibara-Clans der Domäne Echigo-Takada. Als die alte Ordnung in den frühen Meiji-Jahren zusammenbrach, ging das Land an die Familie Makino der ehemaligen Domäne Maizuru über. Mit der Abschaffung der Domänen im Jahr 1871 kehrten viele Fürsten in ihre alten Gebiete zurück, und die Tokioter Anwesen blieben nahezu leer und verwildert zurück. Die Regierung übernahm sie, und dieses Grundstück wurde anschließend an Kirino Toshiaki übergeben, einen Offizier der Satsuma-Armee, der eher als Nakamura Hanjiro bekannt ist, mit dem Beinamen Menschenschlächter Hanjiro. Er war ein Untergebener von Saigo Takamori. Im Jahr 1878 ließ sich der Gründer von Mitsubishi, Iwasaki Yataro, hier nieder, und das Anwesen ging später an seinen Sohn Iwasaki Hisaya über. Da das Land so oft den Besitzer wechselte, sind keine Pläne des Gartens aus der Zeit der Iwasaki erhalten, und vieles über sein ursprüngliches Aussehen bleibt unklar. Gesichert ist, dass das neue Anwesen den Geist eines Daimyo-Gartens bewahrte, mit Gartensteinen, Steinlaternen und künstlichen Hügeln, neben einer weiten Rasenfläche im westlichen Stil.