El nombre completo suena complicado, pero cada parte apunta a una historia. El santuario era conocido anteriormente como Santuario Fuji San Shimomiya Sengen. La palabra Shimomiya significa santuario inferior. Se utilizaba en relación con el Santuario Komuro Sengen, ubicado en la segunda estación del monte Fuji, que se encuentra más arriba y es el antiguo santuario principal del actual Santuario Fuji Omuro Asama. La gente de los alrededores del lago Kawaguchi también usaba la palabra para nombrar la zona de Fuji Yoshida, lo que la distinguía del Santuario Kawaguchi Sengen. Luego, los nombres comienzan a enredarse. Los registros históricos muestran que, en épocas antiguas, Shimoyashima se refería al Santuario Kitaguchi Hongu Fuji Sengen, y no a este santuario. Un mapa de la ruta de Yoshida de 1680 marca los terrenos del actual Kitaguchi Hongu como Shimoyashima. Una crónica provincial de 1814 denomina al santuario de la segunda estación Kami Sengen, al santuario de Kitaguchi Shimoyashima y al santuario de Shimoyoshida Shimomiya Sengen. Durante el período Meiji, el santuario de la segunda estación fue renombrado Santuario Komuro Sengen, lo que aumentó la confusión entre Shimoyashima y Shimomiya. Por ello, cuando lea la placa o escuche el apodo Shimo-Sengen, recuerde que está viendo el santuario inferior dentro de una familia de santuarios del monte Fuji.