Cette pagode ne s'est pas toujours dressée là où vous vous tenez. Selon le Dictionnaire des reliques culturelles vietnamiennes, publié à Hanoï en 1993, elle a commencé comme un temple nommé Khai Quốc, construit à la période du début des Lý, sous l'empereur Lý Nam Đế, qui régna de 541 à 547. Sa première demeure fut le village de Y Hoa, près de la rive du fleuve Rouge. Puis le fleuve commença à ronger sa propre rive. Face à cette érosion, le temple fut déplacé en 1615 vers un petit îlot du lac de l'Ouest appelé Kim Ngư, l'îlot du poisson d'or, où il se trouve encore aujourd'hui. Il fut reconstruit à l'intérieur de la digue de Yên Phụ, sur un terrain qui avait déjà des liens royaux. Les rois Lý y avaient fait bâtir le palais Thụy Hoa, et la dynastie Trần éleva plus tard le pavillon Hàn Nguyên, un lieu pour profiter de la brise fraîche et observer les courses de barques de pêcheurs sur le lac. Alors, lorsque vous regardez l'eau, imaginez une scène bien différente : des empereurs se détendant sur ce rivage, des barques en course et un temple qui attend d'arriver.