A história do Gangō-ji começa antes mesmo de Nara ser capital. No século VI, Soga no Umako fundou um templo chamado Asukadera, também conhecido como Hōkō-ji, na região de Asuka. Ele é descrito como o mais antigo templo budista de grande porte do Japão. O próprio budismo chegou acompanhado de um debate. A tradição conta que o imperador Kinmei, ao observar uma imagem de Buda enviada de uma terra no oeste, perguntou aos seus ministros se ela deveria ser venerada. Ele achou seu rosto mais belo do que qualquer coisa que já tinha visto. Soga no Iname o incentivou a venerá-la, enquanto outros na corte se opuseram à ideia. A família Soga tornou-se defensora da nova fé, e o templo de Umako surgiu dessa tradição. Depois, a capital foi transferida. Quando Heijō-kyō, a capital em Nara, foi construída, o templo foi realocado e reconstruído dentro da nova cidade. É assim que o Gangō-ji passou a ficar em Nara, e se juntou ao grupo conhecido como Sete Grandes Templos da capital do sul. Portanto, quando você está aqui, está diante de um templo que guarda a memória da mais antiga fundação budista do Japão.