El relato propio del santuario dice que fue fundado el nueve de septiembre, en el tercer año de la era Keiun, a comienzos del siglo VIII, durante el reinado del emperador Monmu. El lugar se llamaba entonces Municipio de Arakura, en el distrito de Yatsushiro de la provincia de Kai. El santuario debía albergar a la deidad guardiana del municipio de Fuji Kitaguchi, que hoy es Fujiyoshida. El siguiente gran capítulo llega en el año 807. El Monte Fuji entró en erupción con violencia, y el veintidós de agosto llegó desde la corte un enviado imperial para realizar una ceremonia que calmara al volcán y mantuviera a salvo la tierra. Según la tradición del santuario, el emperador Heizei concedió entonces a este santuario el título de Sangoku Daiichi San, que significa La Primera Montaña de los Tres Países. Heizei también presentó una vara ceremonial dorada, una máscara ceremonial para el enviado y una tablilla inscrita de su propia mano. Esa tablilla es la que hoy se exhibe en el gran torii. El título es una frase grandiosa. Los tres países eran India, China y Japón, así que era una manera de llamar al Fuji la montaña más grande del mundo conocido. La máscara del enviado se conserva hoy en el Museo Municipal de Fujiyoshida.