Le nom complet semble complexe, mais chacune de ses parties renvoie à une histoire. Le sanctuaire était autrefois connu sous le nom de Fuji San Shimomiya Sengen Shrine. Le mot Shimomiya signifie sanctuaire inférieur. Il était utilisé en relation avec le sanctuaire Komuro Sengen, situé à la deuxième station du mont Fuji, plus haut en altitude, qui était l'ancien sanctuaire principal de l'actuel sanctuaire Fuji Omuro Asama. Les habitants des environs du lac Kawaguchi employaient aussi ce mot pour désigner la zone de Fuji Yoshida, ce qui la distinguait du sanctuaire Kawaguchi Sengen. Puis les noms commencent à s'emmêler. Les archives historiques montrent qu'autrefois Shimoyashima désignait le sanctuaire Kitaguchi Hongu Fuji Sengen, et non celui-ci. Une carte de la route de Yoshida datant de 1680 indique que le terrain de l'actuel Kitaguchi Hongu s'appelait Shimoyashima. Un recueil géographique provincial de 1814 nomme le sanctuaire de la deuxième station Kami Sengen, le sanctuaire de Kitaguchi Shimoyashima, et le sanctuaire de Shimoyoshida Shimomiya Sengen. À l'époque Meiji, le sanctuaire de la deuxième station fut rebaptisé Komuro Sengen, ce qui accentua la confusion entre Shimoyashima et Shimomiya. Ainsi, lorsque vous lisez la plaque ou entendez le surnom Shimo-Sengen, rappelez-vous que vous regardez le sanctuaire inférieur d'une famille de sanctuaires du mont Fuji.