L'antica Thăng Long era protetta, nell'immaginario della sua gente, da quattro santuari noti come tứ trấn di Thăng Long. Quán Thánh custodiva il nord, Kim Liên il sud, Voi Phục l'ovest e Bạch Mã, dove vi trovate ora, l'est. Insieme formavano una cornice sacra attorno alla capitale. Si tramanda che il tempio sia stato fondato nel IX secolo per onorare Long Đỗ, l'Ombelico del Drago, considerato la divinità originaria dell'antica Hanoi. Il nome stesso significa Cavallo Bianco. Una seconda tradizione lega il tempio al momento in cui Lý Thái Tổ trasferì la capitale e Thăng Long divenne sede di una nazione indipendente, e attribuisce al santuario un diverso racconto delle origini. I due resoconti convivono fianco a fianco nella memoria locale, ed è questo che rende il luogo così ricco. Anche l'ambientazione è importante. In epoche passate il tempio apparteneva al rione Hà Khẩu, nel distretto di Thọ Xương, e sorgeva alla foce del fiume Tô Lịch, dove quel corso d'acqua incontrava il Fiume Rosso. Il guardiano orientale si affacciava un tempo su una porta fluviale della città.