Nossa história começa em 1875, quando a corte Qing transformou Taipei em uma cidade prefeitura para o norte de Taiwan. Uma prefeitura precisava de um templo de Confúcio adequado, e em 1879 começou a construção dentro do portão sul da cidade. Dois templos foram planejados, um templo literário à esquerda e um templo marcial à direita, ambos voltados para o sul. Dois funcionários supervisionaram a obra: Xia Xianlun, comissário militar de Taiwan, e Chen Xingju, prefeito de Taipei. Em 1881, o salão principal, o Portão Yi e o Santuário Chongsheng estavam concluídos. Em seguida, a gentry de Taipei sugeriu a arrecadação de doações, e os trabalhos começaram no Portão Li, no Caminho Yi, no Portão Lingxing, no Lago Pangong e em um muro ao redor. Em 1884, o templo foi finalmente concluído. Diz-se que o templo foi inspirado no templo original de Confúcio em Qufu, na província de Shandong. Nos anos seguintes, enquanto Liu Mingchuan era governador de Taiwan, uma grande cerimônia era realizada no templo todos os anos, um evento importante para os eruditos da época.