Nel 1903 la Scuola di agraria si trasferì nella sede attuale, dove oggi sorge l'Università di Hokkaido, per far spazio a nuovi edifici. La sala e la sua torre rimasero al loro posto, secondo quanto riferito perché gli abitanti del luogo desideravano fortemente conservarle. La città di Sapporo prese in carico l'edificio, e più o meno in quel periodo la gente cominciò a chiamarlo Torre dell'orologio. Nel 1906 la città ne acquistò la piena proprietà. Dal 1911 fino al 1966, a parte gli anni della guerra del Pacifico e un breve periodo successivo, funzionò come biblioteca e sala pubblica. Era un luogo di lettura, studio e conferenze su letteratura, politica, economia e scienze. Nel 1963 la carta dei cittadini di Sapporo si aprì persino con le parole: siamo cittadini di Sapporo, dove suona la campana della torre dell'orologio. Non fu però sempre così apprezzata. Nel 1933 l'orologio rimase fermo per lungo tempo. Un orologiaio locale, Inoue Kiyoshi, offrì di ripararlo, ma il comune rifiutò, adducendo motivi di bilancio. Così lo fece da volontario: passò un mese a rimuovere la ruggine e a smontare con cura i pezzi per ripararli. La pazienza di quell'uomo contribuì a mantenere in vita l'orologio.