Mucho antes de que llegara la familia Iwasaki, este terreno pertenecía a la clase samurái. En el periodo Edo era una finca daimyo del clan Sakakibara, del dominio de Echigo-Takada. Cuando el antiguo orden se derrumbó en los primeros años de la era Meiji, la tierra pasó a la familia Makino, del antiguo dominio de Maizuru. En 1871, la abolición de los dominios hizo que muchos señores regresaran a sus antiguos territorios, y las fincas de Tokio quedaron casi vacías y cubiertas de maleza. El gobierno se hizo cargo de ellas, y esta parcela fue entregada después a Kirino Toshiaki, un oficial del ejército de Satsuma que se recuerda mejor como Nakamura Hanjiro, apodado Hanjiro el matahombres. Era subordinado de Saigo Takamori. En 1878, el fundador de Mitsubishi, Iwasaki Yataro, estableció aquí su residencia, y la finca pasó más tarde a su hijo Iwasaki Hisaya. Como el terreno cambió de manos tantas veces, no se conservan planos del jardín de la época Iwasaki, y gran parte de su aspecto original es poco clara. Lo que se sabe es que la nueva finca conservó el espíritu de un jardín daimyo, con piedras de jardín, faroles de piedra y colinas artificiales, junto a un amplio césped de estilo occidental.