L'histoire de Gangō-ji commence avant même que Nara ne devienne capitale. Au VIe siècle, Soga no Umako fonda un temple appelé Asukadera, également connu sous le nom de Hōkō-ji, dans la région d'Asuka. Il est décrit comme le plus ancien temple bouddhiste de plein exercice du Japon. Le bouddhisme lui-même arriva accompagné d'un débat. La tradition raconte que l'empereur Kinmei, regardant une image de Bouddha envoyée depuis un pays situé à l'ouest, demanda à ses ministres s'il fallait la vénérer. Il trouva son visage plus beau que tout ce qu'il avait jamais vu. Soga no Iname le pressa de la vénérer, tandis que d'autres membres de la cour s'y opposaient. La famille Soga devint le champion de la nouvelle foi, et le temple d'Umako naquit de cette tradition. Puis la capitale fut transférée. Lorsque Heijō-kyō, la capitale de Nara, fut construite, le temple fut déplacé et reconstruit dans la nouvelle ville. C'est ainsi que Gangō-ji vint se dresser à Nara, et qu'il rejoignit le groupe connu sous le nom de Sept Grands Temples de la capitale du Sud. Ainsi, lorsque vous vous tenez ici, vous vous trouvez dans un temple qui porte la mémoire de la plus ancienne fondation bouddhiste du Japon.