Die Geschichte des Gangō-ji beginnt, bevor Nara überhaupt Hauptstadt war. Im sechsten Jahrhundert gründete Soga no Umako in der Region Asuka einen Tempel namens Asukadera, auch als Hōkō-ji bekannt. Er gilt als der älteste vollwertige buddhistische Tempel Japans. Der Buddhismus selbst kam mit einer Debatte. Der Überlieferung nach betrachtete Kaiser Kinmei ein Buddha-Bildnis, das aus einem Land im Westen gesandt worden war, und fragte seine Minister, ob es verehrt werden solle. Er fand sein Gesicht schöner als alles, was er bisher gesehen hatte. Soga no Iname drängte ihn, es zu verehren, während andere am Hof sich dagegen aussprachen. Die Familie Soga wurde zur Verfechterin des neuen Glaubens, und Umakos Tempel ging aus dieser Tradition hervor. Dann wurde die Hauptstadt verlegt. Als Heijō-kyō, die Hauptstadt in Nara, errichtet wurde, wurde der Tempel innerhalb der neuen Stadt versetzt und wiederaufgebaut. So kam der Gangō-ji nach Nara und schloss sich der Gruppe an, die als Sieben Große Tempel der südlichen Hauptstadt bekannt ist. Wenn Sie hier stehen, stehen Sie also in einem Tempel, der die Erinnerung an Japans früheste buddhistische Gründung bewahrt.