O papel defensivo do portão chegou ao fim em 1895. Quando os japoneses avançaram sobre Tainan por três lados, suas tropas entraram na cidade pelo Pequeno Portão Sul, em 22 de outubro. Depois disso, as muralhas da cidade começaram a ser derrubadas, e os portões se deterioraram por falta de cuidado. O portão externo da barbacã daqui desabou. Em 1917, as muralhas quase haviam desaparecido por completo, e restaram apenas quatro portões em Tainan: o Portão Yuedui, o Grande Portão Leste, o Grande Portão Sul e o Pequeno Portão Oeste. O portão em si foi reparado em 1927, em parte com materiais do Portão Guo Leste, que havia sido demolido, e dois anos depois a área se tornou o Parque Nanmen. Em 1935, por ocasião da Exposição de Taiwan, 45 antigas estelas foram reunidas e expostas aqui, incluindo nove do santuário de Fukang'an, e é por isso que hoje existe uma floresta de estelas no parque. No mesmo ano, o portão foi declarado sítio histórico com o nome de Castelo de Tainan. Já em 1925, planos de construir um parque e remover túmulos próximos haviam enfrentado forte oposição da gentry e de intelectuais locais. Depois veio a natureza. Na manhã de 18 de julho de 1963, o Tufão Wendy derrubou a torre às 6h40, ferindo duas pessoas. Em 1967, só restava a passagem do portão. A cidade reconstruiu a torre em 1975 e, em 1977, como parte de um plano para restaurar sítios históricos para o ano de turismo de Tainan, o portão foi reconstruído em sua forma original. Hoje, é a maior torre de portão urbano preservada em Taiwan. Como fica bem ao lado da Escola Secundária Jianxing, os formandos atravessam o portão após a cerimônia de formatura, um passo simbólico rumo à próxima etapa da vida.