Durante décadas, el enterramiento de las cinco damas fue solo una tumba. Al principio fue el tipo de sepultura sin túmulo elevado ni árboles plantados, conocida con nombres como la Tumba de las Cinco Mujeres Fieles. La colina en sí, la colina Kuidou, era un montículo solitario fuera de la muralla de la ciudad. Como la palabra para Kuidou suena parecida a la de la casia, los poetas la llamaban Colina de la Casia. Los lugareños, al ver las tumbas y la hierba silvestre, usaban un apodo más oscuro que significa Colina de los Fantasmas, y muchos la evitaban después del anochecer. El cambio llegó en 1746, durante el reinado Qianlong de la dinastía Qing, cuando un funcionario llamado Fang Bangji recibió la orden de restaurar la tumba. Construyó un templo frente a ella para que las mujeres pudieran ser honradas con ofrendas, y así el lugar se convirtió en el Templo WuFei, templo y tumba en uno. También hizo erigir fuera de la puerta sur una estela con un poema de duelo por las cinco damas. Esa estela se conserva hoy entre las lápidas de piedra de la Gran Puerta Sur. Una pregunta frecuente es si se trata de uno de los llamados templos yin, dedicados a espíritus errantes sin nombre. No lo es. Las cinco mujeres tienen nombre, su historia está registrada y fue el propio Estado quien mandó construir el templo, por lo que se las honra como las Cinco Damas, como a figuras respetadas y no como fantasmas olvidados.