La storia di Gangō-ji inizia prima che Nara fosse persino una capitale. Nel VI secolo, Soga no Umako fondò un tempio chiamato Asukadera, noto anche come Hōkō-ji, nella regione di Asuka. Viene descritto come il più antico tempio buddhista su vasta scala del Giappone. Il buddhismo stesso arrivò accompagnato da un dibattito. La tradizione narra che l'imperatore Kinmei, osservando un'immagine del Buddha inviata da una terra a occidente, chiese ai suoi ministri se dovesse essere venerata. Trovò il suo volto più bello di qualsiasi cosa avesse mai visto. Soga no Iname lo esortò a venerarla, mentre altri a corte si opponevano all'idea. La famiglia Soga divenne campione della nuova fede, e il tempio di Umako nacque da quella tradizione. Poi la capitale fu spostata. Quando fu costruita Heijō-kyō, la capitale a Nara, il tempio fu trasferito e ricostruito all'interno della nuova città. Così Gangō-ji venne a sorgere a Nara, e si unì al gruppo noto come Sette Grandi Templi della capitale meridionale. Quindi, quando vi trovate qui, state sostando in un tempio che custodisce la memoria della prima fondazione buddhista del Giappone.