Antes de ser um museu, este local era um complexo residencial para policiais. Os prédios datam do período colonial japonês em Taiwan, no início da década de 1930. A própria história do museu indica 1932 como o ano de construção, enquanto outro relato diz 1934. De qualquer forma, eram moradias práticas para famílias de trabalhadores, e não peças de exibição. Essa origem modesta faz parte do charme. Habitações comuns daquela época raramente sobrevivem e, com ainda menos frequência, são bem cuidadas. Aqui, pouco mais de setenta anos depois, os prédios foram reconhecidos como dignos de preservação. Em 2009, o Departamento de Assuntos Culturais do Governo Municipal de Taichung os declarou edifícios históricos. Essa decisão mudou o destino deles. Em vez de desaparecer em meio à reurbanização, os alojamentos se tornaram uma forma de preservar o espírito e o contexto do passado, ao mesmo tempo em que deram à cidade algo novo.