Dans l'imaginaire de ses habitants, le vieux Thăng Long était protégé par quatre sanctuaires connus sous le nom de Thăng Long tứ trấn. Quán Thánh gardait le nord, Kim Liên le sud, Voi Phục l'ouest, et Bạch Mã, où vous vous tenez, l'est. Ensemble, ils formaient un cadre sacré autour de la capitale. La tradition veut que le temple ait été fondé au IXe siècle pour honorer Long Đỗ, le Nombril du Dragon, considéré comme la divinité originelle de l'ancienne Hanoï. Le nom lui-même signifie Cheval Blanc. Une seconde tradition relie le temple au moment où Lý Thái Tổ transféra la capitale et où Thăng Long devint le siège d'une nation indépendante, ce qui donne au sanctuaire une autre histoire d'origine. Les deux récits coexistent dans la mémoire locale, et c'est en partie ce qui rend le lieu si riche. Le cadre compte aussi. Autrefois, le temple appartenait au quartier de Hà Khẩu, dans le district de Thọ Xương, et il se dressait à l'embouchure de la rivière Tô Lịch, là où ce cours d'eau rejoignait le fleuve Rouge. Le gardien de l'est donnait autrefois sur une porte fluviale de la cité.