Il nome completo sembra complicato, ma ogni sua parte rimanda a una storia. Il santuario era un tempo noto come Fuji San Shimomiya Sengen Shrine. La parola Shimomiya significa santuario inferiore. Veniva usata in relazione al Santuario Komuro Sengen, situato alla seconda stazione del monte Fuji, più in alto, che è l'antico santuario principale dell'odierno Santuario Fuji Omuro Asama. Anche gli abitanti intorno al lago Kawaguchi usavano la parola per indicare l'area di Fuji Yoshida, distinguendola dal Santuario Kawaguchi Sengen. Poi i nomi cominciano a intrecciarsi. I documenti storici mostrano che, in epoche più antiche, Shimoyashima indicava il Santuario Kitaguchi Hongu Fuji Sengen, e non questo santuario. Una mappa della via Yoshida del 1680 indica con Shimoyashima il terreno dell'odierno Kitaguchi Hongu. Un atlante provinciale del 1814 chiama il santuario della seconda stazione Kami Sengen, il santuario di Kitaguchi Shimoyashima e quello di Shimoyoshida Shimomiya Sengen. Nel periodo Meiji il santuario della seconda stazione fu rinominato Santuario Komuro Sengen, e ciò accrebbe la confusione tra Shimoyashima e Shimomiya. Quindi, quando leggete la targa o sentite il soprannome Shimo-Sengen, ricordate che state guardando il santuario inferiore in una famiglia di santuari del monte Fuji.