La nostra storia inizia nel 1875, quando la corte Qing fece di Taipei una città prefettizia per il Taiwan settentrionale. Una prefettura aveva bisogno di un tempio di Confucio adeguato, e nel 1879 iniziarono i lavori all'interno della porta meridionale della città. Erano previsti due templi, un tempio letterario a sinistra e un tempio marziale a destra, entrambi rivolti a sud. Due funzionari sovrintesero ai lavori: Xia Xianlun, commissario militare di Taiwan, e Chen Xingju, prefetto di Taipei. Nel 1881 erano stati completati la sala principale, la Porta Yi e il Santuario Chongsheng. Poi la gentry di Taipei propose di raccogliere donazioni, e iniziarono i lavori sulla Porta Li, sul Sentiero Yi, sulla Porta Lingxing, sullo stagno Pangong e su un muro di cinta. Nel 1884 il tempio fu finalmente completato. Si dice che il tempio sia modellato sull'originale tempio di Confucio di Qufu, nello Shandong. Negli anni successivi, mentre Liu Mingchuan era governatore di Taiwan, ogni anno si teneva nel tempio una grande cerimonia, un evento importante per gli studiosi dell'epoca.