Em 1903, a Escola Agrícola mudou-se para o local atual, onde hoje fica a Universidade de Hokkaido, para dar espaço a novos edifícios. O salão e sua torre permaneceram no lugar, segundo relatos porque os moradores locais queriam muito preservá-los. A cidade de Sapporo assumiu o prédio, e por volta dessa época as pessoas passaram a chamá-lo de Torre do Relógio. Em 1906, a cidade o comprou por completo. De 1911 a 1966, com exceção dos anos da Guerra do Pacífico e de um curto período depois, ele funcionou como biblioteca e salão público. Era um lugar para leitura, estudo e palestras sobre literatura, política, economia e ciência. Em 1963, a carta de cidadania de Sapporo chegou a começar com as palavras: somos cidadãos de Sapporo, onde o sino da torre do relógio toca. Nem sempre, porém, foi tão valorizado. Em 1933, o relógio ficou parado por um longo tempo. Um relojoeiro local chamado Inoue Kiyoshi se ofereceu para consertá-lo, mas a prefeitura recusou, alegando orçamento. Então ele fez o trabalho como voluntário, passando um mês removendo a ferrugem e desmontando cuidadosamente as peças para consertá-las. A paciência desse único homem ajudou a manter o relógio vivo.