Questa pagoda non è sempre sorta dove vi trovate ora. Secondo il Dizionario dei Beni Culturali Vietnamiti, pubblicato ad Hanoi nel 1993, nacque come tempio chiamato Khai Quốc, costruito nel periodo dei primi Lý, sotto l'imperatore Lý Nam Đế, che regnò dal 541 al 547. La sua prima sede fu il villaggio di Y Hoa, vicino alla riva del Fiume Rosso. Poi il fiume cominciò a erodere la propria sponda. Di fronte a questa erosione, il tempio fu spostato nel 1615 su un piccolo isolotto nel Lago Ovest chiamato Kim Ngư, l'isolotto del Pesce d'Oro, dove si trova ancora oggi. Fu ricostruito all'interno dell'argine di Yên Phụ, su un terreno già legato alla famiglia reale. I re Lý vi avevano costruito il palazzo Thụy Hoa, e in seguito la dinastia Trần vi eresse il padiglione Hàn Nguyên, un luogo dove godere della brezza fresca e assistere alle gare di barche da pesca sul lago. Quindi, guardando l'acqua, immaginate una scena molto diversa: imperatori che si rilassano su questa riva, barche che gareggiano e un tempio in attesa di arrivare.