I terreni sono parte integrante del sito storico nazionale tanto quanto la residenza stessa. Due giardini si trovano su lati opposti, e ciascuno segue una propria tradizione. Davanti, il Giardino Sud segue un impianto formale alla francese. Una fontana centrale è circondata da aiuole simmetriche disposte geometricamente, che richiamano la grandiosità della residenza. Dietro l'edificio si estende l'ampio Giardino Nord, progettato in stile giapponese. Il suo laghetto ha la forma del carattere cinese per cuore ed è incorniciato da alberi. Troverete anche un odeum, un padiglione, un ponte di pietra con balaustre, tavoli di pietra, ponti in muratura, colline artificiali, cascate e fontane. È un contrasto tranquillo con le strade trafficate all'esterno. Questi giardini silenziosi hanno anche assistito a eventi storici. Il Trattato di Taipei fu firmato qui nel 1952. Decenni dopo, il 14 maggio 2009, il presidente Ma Ying-jeou firmò in questo stesso luogo sia il Patto internazionale sui diritti civili e politici sia il Patto internazionale sui diritti economici, sociali e culturali. Una casa costruita nel 1901 è stata testimone di molti cambiamenti politici e culturali di Taiwan.