Le domaine fait tout autant partie du site historique national que le bâtiment lui-même. Deux jardins se trouvent de part et d'autre, et chacun suit sa propre tradition. À l'avant, le jardin Sud adopte un tracé formel à la française. Une fontaine centrale est entourée de parterres de fleurs symétriques, disposés géométriquement, qui font écho à la grandeur de la résidence. Derrière le bâtiment s'étend le vaste jardin Nord, conçu dans le style japonais. Son bassin a la forme du caractère chinois signifiant « cœur », et il est encadré d'arbres. On trouve aussi un odéon, un pavillon, un pont de pierre à balustrades, des tables de pierre, des ponts en maçonnerie, des collines artificielles, des cascades et des fontaines. C'est un contraste apaisant avec l'agitation des rues voisines. Ces jardins paisibles ont également été témoins de l'histoire. Le traité de Taipei y fut signé en 1952. Des décennies plus tard, le 14 mai 2009, le président Ma Ying-jeou y a signé, dans ce même lieu, le Pacte international relatif aux droits civils et politiques ainsi que le Pacte international relatif aux droits économiques, sociaux et culturels. Une maison construite en 1901 a été témoin de nombreux changements politiques et culturels à Taïwan.