Para entender este templo, comece com uma imagem: uma cidade imaginada como uma fortaleza com quatro direções, e um guardião para cada uma. As fontes vietnamitas as chamam de Thăng Long tứ trấn, os quatro templos guardiões de Thăng Long. Đền Quán Thánh vigiava o norte, Đền Kim Liên vigiava o sul, Đền Voi Phục vigiava o oeste, e Đền Bạch Mã vigiava o leste. É aí que você está: o portão leste. Agora o detalhe que deve mudar como você vê esta rua. O cenário documentado mais antigo do templo não era uma rua de forma alguma. Ficava na freguesia de Hà Khẩu, em Hữu Túc tổng, distrito de Thọ Xương, prefeitura de Hoài Đức — na foz do rio Tô Lịch, onde esse rio encontrava o Rio Vermelho. As fontes dizem que o templo foi fundado no século IX para honrar o espírito Long Đỗ. Naquele mundo, a água era a estrada. Uma foz de rio era um portão no sentido mais literal, o lugar onde barcos, mercadorias e exércitos chegavam. Guardar o leste significava guardar a água. O edifício é um sobrevivente. Uma estela mantida no templo registra uma grande restauração na era Chính Hòa, entre 1680 e 1705, sob o governante Lê Hy Tông — e as próprias fontes o nomeiam como o governante daquela era. Em 1839, o vigésimo ano do reinado de Minh Mệnh, mais obras se seguiram: o templo foi reparado, um văn chỉ separado, um santuário para veneração literária, foi construído, e o Phương đình foi adicionado, ampliando o complexo e conferindo-lhe a presença solene pela qual é conhecido. Em 12 de dezembro de 1986, o templo foi reconhecido como relíquia histórica e arquitetônica nacional.