Muito antes de a família Iwasaki chegar, este terreno pertencia à classe samurai. No período Edo, era uma propriedade daimyo do clã Sakakibara, do domínio de Echigo-Takada. Quando a antiga ordem entrou em colapso nos primeiros anos da era Meiji, a terra passou para a família Makino, do antigo domínio de Maizuru. Em 1871, a abolição dos domínios fez muitos senhores retornarem aos seus antigos territórios, e as propriedades de Tóquio ficaram quase vazias e tomadas pela vegetação. O governo assumiu essas propriedades, e este lote foi então entregue a Kirino Toshiaki, um oficial do exército de Satsuma mais lembrado como Nakamura Hanjiro, apelidado de Hanjiro, o assassino de homens. Ele era subordinado de Saigo Takamori. Em 1878, o fundador da Mitsubishi, Iwasaki Yataro, estabeleceu aqui sua residência, e a propriedade passou depois para seu filho, Iwasaki Hisaya. Como a terra mudou de mãos tantas vezes, não sobrevive nenhuma planta do jardim da era Iwasaki, e muito sobre sua aparência original permanece incerto. O que se sabe é que a nova propriedade manteve o espírito de um jardim daimyo, com pedras de jardim, lanternas de pedra e colinas artificiais, ao lado de um amplo gramado em estilo ocidental.