Este templo nem sempre esteve onde você está agora. Segundo o Dicionário de Relíquias Culturais Vietnamitas, publicado em Hanói em 1993, ele começou como um templo chamado Khai Quốc, construído no período inicial da dinastia Lý, sob o imperador Lý Nam Đế, que reinou de 541 a 547. Seu primeiro lar foi a aldeia de Y Hoa, perto da margem do Rio Vermelho. Então o rio começou a corroer a própria margem. Diante dessa erosão, o templo foi transferido em 1615 para um pequeno islote no Hồ Tây chamado Kim Ngư, a ilha do Peixe Dourado, onde permanece até hoje. Ele foi reconstruído dentro do dique de Yên Phụ, em terreno que já tinha ligações com a realeza. Os reis Lý haviam erguido ali o palácio Thủy Hoa, e a dinastia Trần, mais tarde, levantou o pavilhão Hàn Nguyên, um lugar para apreciar a brisa fresca e assistir às corridas de barcos de pesca no lago. Então, ao olhar para a água, imagine uma cena muito diferente: imperadores relaxando nesta margem, barcos disputando corridas e um templo à espera de chegar.