Molto prima dell'arrivo della famiglia Iwasaki, questo terreno apparteneva alla classe dei samurai. Nel periodo Edo era una tenuta daimyo del clan Sakakibara del dominio di Echigo-Takada. Quando l'antico ordine crollò nei primi anni dell'era Meiji, il terreno passò alla famiglia Makino dell'ex dominio di Maizuru. Nel 1871 l'abolizione dei domini fece tornare molti signori nei loro antichi territori, lasciando le residenze di Tokyo quasi vuote e invase dalla vegetazione. Il governo le rilevò, e questo lotto fu poi affidato a Kirino Toshiaki, un ufficiale dell'esercito di Satsuma più noto come Nakamura Hanjiro, soprannominato Hanjiro l'uccisore di uomini. Era un subordinato di Saigo Takamori. Nel 1878 il fondatore della Mitsubishi, Iwasaki Yataro, vi stabilì la sua residenza, e la tenuta passò in seguito al figlio Iwasaki Hisaya. Poiché il terreno cambiò proprietario così tante volte, non sopravvivono piante del giardino dell'epoca Iwasaki, e molto del suo aspetto originale resta incerto. Ciò che si sa è che la nuova tenuta conservò lo spirito di un giardino daimyo, con pietre ornamentali, lanterne di pietra e colline artificiali, accanto a un ampio prato all'occidentale.