El antiguo Thăng Long estaba protegido, en la imaginación de sus habitantes, por cuatro santuarios conocidos como los tứ trấn de Thăng Long. Quán Thánh custodiaba el norte, Kim Liên el sur, Voi Phục el oeste y Bạch Mã, donde ahora están ustedes, el este. Juntos formaban un marco sagrado en torno a la capital. Se dice tradicionalmente que el templo fue fundado en el siglo IX para honrar a Long Đỗ, el Ombligo del Dragón, considerado la deidad original de la antigua Hanói. El nombre significa Caballo Blanco. Una segunda tradición vincula el templo con el momento en que Lý Thái Tổ trasladó la capital y Thăng Long se convirtió en sede de una nación independiente, y ofrece para el santuario un relato de origen distinto. Ambas versiones conviven en la memoria local, y eso es parte de lo que hace tan rico este lugar. El emplazamiento también importa. En épocas anteriores, el templo pertenecía al barrio de Hà Khẩu, en el distrito de Thọ Xương, y se alzaba en la desembocadura del río Tô Lịch, donde esa vía fluvial se encontraba con el río Rojo. El guardián oriental miraba en otro tiempo hacia una puerta fluvial de la ciudad.