A família Khóo viveu na mansão por apenas cerca de uma década. Então, a Segunda Guerra Mundial chegou, e Keelung, como porto vital, tornou-se um dos alvos mais importantes dos bombardeios aliados. Para se proteger, a família se mudou, acreditando que a mudança seria temporária. A própria mansão escapou da destruição. Khóo Tsú-song morreu em 1945. Nos anos seguintes, a casa caiu em decadência e, por muito tempo, os visitantes a viam como uma mansão abandonada, um pedaço esquecido do passado da cidade. Então, em julho de 2014, um grupo de voluntários chamado Keelung Youth Front começou a limpar a casa para que o público pudesse visitar este patrimônio arquitetônico de Keelung. Desde então, os voluntários desse grupo continuam cuidando do local.