O relato do próprio santuário diz que ele foi fundado em 9 de setembro, no terceiro ano da era Keiun, no início do século VIII, durante o reinado do Imperador Monmu. O local era então chamado Município de Arakura, no Condado de Yatsushiro da Província de Kai. O santuário deveria abrigar a divindade guardiã do município de Fuji Kitaguchi, que hoje é Fujiyoshida. O próximo grande capítulo chega no ano de 807. O Monte Fuji entrou em erupção violentamente, e em 22 de agosto um enviado imperial veio da corte para realizar uma cerimônia destinada a acalmar o vulcão e manter a terra segura. Segundo a tradição do santuário, o Imperador Heizei concedeu então a este santuário o título Sangoku Daiichi San, que significa O Primeiro Monte dos Três Países. Heizei também ofereceu uma varinha de oferenda dourada, uma máscara cerimonial para o enviado e uma placa inscrita de próprio punho. Essa placa é a que hoje está exposta no grande torii. O título é uma expressão grandiosa. Os três países eram Índia, China e Japão, então era uma forma de chamar o Fuji de a maior montanha do mundo conhecido. A máscara do enviado é mantida atualmente no Museu da Cidade de Fujiyoshida.