Los terrenos forman parte del sitio histórico nacional tanto como la propia mansión. Dos jardines se sitúan en lados opuestos, y cada uno sigue su propia tradición. En la parte delantera, el Jardín Sur sigue un trazado formal francés. Una fuente central está rodeada de parterres simétricos y dispuestos geométricamente, que reflejan la grandeza de la mansión. Detrás del edificio se extiende el amplio Jardín Norte, diseñado en estilo japonés. Su estanque tiene la forma del carácter chino que significa corazón, y está enmarcado por árboles. También encontrará un odeón, un pabellón, un puente de piedra con balaustradas, mesas de piedra, puentes de mampostería, colinas artificiales, cascadas y fuentes. Es un contraste tranquilo frente a las bulliciosas calles de fuera. Estos tranquilos terrenos también han sido testigos de la historia. El Tratado de Taipéi se firmó aquí en 1952. Décadas después, el 14 de mayo de 2009, el presidente Ma Ying-jeou firmó en este mismo lugar el Pacto Internacional de Derechos Civiles y Políticos y el Pacto Internacional de Derechos Económicos, Sociales y Culturales. Una casa construida en 1901 ha sido testigo de muchos cambios políticos y culturales de Taiwán.