Por décadas, o sepultamento das cinco senhoras foi apenas um túmulo. No início, era o tipo de sepultura sem monte elevado nem árvores plantadas, e era conhecido por nomes como Túmulo das Cinco Mulheres Fiéis. A própria colina, Colina Kuidou, era um aclive isolado fora da muralha da cidade. Como a palavra para Kuidou soa como a palavra para canela, os poetas gostavam de chamá-la de Colina da Canela. Os moradores locais, ao ver os túmulos e a grama selvagem, usavam um apelido mais sombrio, que significa Colina dos Fantasmas, e muitos a evitavam depois do anoitecer. A mudança veio em 1746, durante o reinado Qianlong da dinastia Qing, quando um funcionário chamado Fang Bangji recebeu ordens para restaurar o túmulo. Ele construiu um templo em frente a ele para que as mulheres pudessem ser honradas com oferendas, e foi assim que o local se tornou o Templo WuFei, templo e túmulo em um só. Ele também mandou erguer, do lado de fora do portão sul, uma estela com um poema de luto pelas cinco senhoras. Essa estela sobrevive hoje entre as tábuas de pedra do Grande Portão Sul. Uma pergunta comum é se este é um desses chamados templos yin, destinados a espíritos errantes sem nome. Não é. As cinco mulheres têm nome, sua história está registrada, e o próprio Estado mandou construir o templo, por isso são honradas como as Cinco Senhoras, como figuras respeitadas, e não como fantasmas esquecidos.