Comencemos con la capa más antigua de la historia. La tradición sostiene que, antes de que la capital se trasladara a Heian-kyo en 794, un pequeño santuario en este terreno ya honraba a una deidad de las epidemias, el dios de las tormentas Susanoo. Ese pequeño santuario sobrevive hoy como santuario auxiliar dentro del Santuario Imamiya, llamado Yakujinja, el Santuario de la Deidad de las Epidemias. Luego llegó el año 994. Una gran epidemia de peste azotó la capital, y Kioto respondió como solía hacerlo, con un goryoe, un ritual destinado a apaciguar a los espíritus airados a los que se culpaba de la enfermedad. La corte construyó dos santuarios portátiles y trasladó a la deidad de las epidemias a su interior. Fueron llevados a la colina llamada Funaokayama y allí se dejaron, se ofreció música y la calamidad fue entonces incorporada a las ofrendas y enviada flotando hacia la ensenada de Naniwa. Este ritual, el Murasakino Goryoe, se considera el origen del Festival Imamiya. Volvió a repetirse en 1001, cuando regresó la peste. Esta vez la corte trasladó a la deidad desde Funaokayama y construyó un santuario adecuado, con cerca sagrada y santuario portátil, en el antiguo emplazamiento, y lo denominó Imamiya-sha. Se dice que en ese momento comienza el santuario como institución. Tres deidades son veneradas aquí: Onamuchi no Mikoto, Kotoshironushi no Mikoto y Kushinadahime no Mikoto.