Per comprendere questo tempio, iniziate con un'immagine: una città immaginata come una fortezza con quattro direzioni e un guardiano per ciascuna. Le fonti vietnamite li chiamano Thăng Long tứ trấn, i quattro templi guardiani di Thăng Long. Đền Quán Thánh custodiva il nord, Đền Kim Liên il sud, Đền Voi Phục l'ovest e Đền Bạch Mã l'est. Ecco dove vi trovate: la porta orientale. Ora il dettaglio che dovrebbe cambiare il modo in cui vedete questa strada. L'ambientazione più antica documentata del tempio non era affatto una strada. Sorgeva nel quartiere di Hà Khẩu, in Hữu Túc tổng, distretto di Thọ Xương, prefettura di Hoài Đức — alla foce del fiume Tô Lịch, dove questo fiume incontrava il Fiume Rosso. Le fonti dicono che il tempio fu fondato nel IX secolo per onorare lo spirito Long Đỗ. In quel mondo, l'acqua era la strada. Una foce fluviale era una porta nel senso più letterale, il luogo dove arrivavano barche, merci ed eserciti. Custodire l'est significava custodire l'acqua. L'edificio è un sopravvissuto. Una stele conservata nel tempio registra un importante restauro nell'era Chính Hòa, tra il 1680 e il 1705, sotto il sovrano Lê Lê Hy Tông — e le fonti stesse lo indicano come il sovrano di quell'era. Nel 1839, ventesimo anno del regno di Minh Mệnh, seguirono altri lavori: il tempio fu riparato, fu costruito un văn chỉ separato, un santuario per la venerazione letteraria, e fu aggiunto il Phương đình, ampliando il complesso e conferendogli la presenza solenne per cui è noto. Il 12 dicembre 1986, il tempio è stato riconosciuto come reliquia storica e architettonica nazionale.