Le récit propre au sanctuaire indique qu'il a été fondé le neuf septembre, la troisième année de l'ère Keiun, au début du VIIIe siècle, sous le règne de l'empereur Monmu. Le lieu s'appelait alors le bourg d'Arakura, dans le district de Yatsushiro, de la province de Kai. Le sanctuaire devait abriter la divinité tutélaire du bourg de Fuji Kitaguchi, qui correspond aujourd'hui à Fujiyoshida. Le chapitre suivant majeur se situe en l'an 807. Le mont Fuji entra violemment en éruption, et le 22 août, un envoyé impérial vint de la cour pour accomplir une cérémonie destinée à apaiser le volcan et à préserver la sécurité du pays. Selon la tradition du sanctuaire, l'empereur Heizei accorda alors à ce sanctuaire le titre de Sangoku Daiichi San, signifiant « La première montagne des trois provinces ». Heizei offrit aussi un bâton d'offrande en or, un masque cérémoniel pour l'envoyé, et une tablette inscrite de sa propre main. Cette tablette est celle qui est aujourd'hui exposée sur le grand torii. Le titre est une formule grandiose. Les trois pays désignaient l'Inde, la Chine et le Japon, c'était donc une manière de qualifier le Fuji de plus grande montagne du monde connu. Le masque de l'envoyé est aujourd'hui conservé au musée municipal de Fujiyoshida.