En 1903 la Escuela Agrícola se trasladó a su emplazamiento actual, donde hoy se encuentra la Universidad de Hokkaido, para dejar espacio a nuevos edificios. La sala y su torre se quedaron atrás, según se cuenta porque los vecinos de la zona querían conservarlas con firmeza. La ciudad de Sapporo se hizo cargo del edificio, y por esta época la gente empezó a llamarlo Torre del Reloj. En 1906 la ciudad lo compró por completo. Desde 1911 hasta 1966, salvo durante la Guerra del Pacífico y un breve periodo posterior, funcionó como biblioteca y sala pública. Fue un lugar para la lectura, el estudio y las conferencias sobre literatura, política, economía y ciencia. En 1963, la carta ciudadana de Sapporo incluso comenzaba con las palabras: somos ciudadanos de Sapporo, donde suena la campana de la torre del reloj. Sin embargo, no siempre fue tan valorado. En 1933 el reloj estuvo parado durante mucho tiempo. Un relojero local llamado Inoue Kiyoshi se ofreció a repararlo, pero la ciudad lo rechazó alegando falta de presupuesto. Así que lo hizo como voluntario, y pasó un mes eliminando el óxido y desmontando cuidadosamente las piezas para repararlas. La paciencia de aquel hombre ayudó a mantener vivo el reloj.