Iniziamo dallo strato più antico della storia. La tradizione narra che, prima che la capitale fosse trasferita a Heian-kyo nel 794, un piccolo santuario su questo terreno onorasse già una divinità delle epidemie, il dio delle tempeste Susanoo. Quel piccolo santuario sopravvive oggi come santuario ausiliario all'interno del Santuario di Imamiya, chiamato Yakujinja, il Santuario della Divinità delle Epidemie. Poi arrivò l'anno 994. Una grande pestilenza colpì la capitale, e Kyoto rispose come spesso faceva, con un goryoe, un rito volto a placare gli spiriti irati ritenuti responsabili della malattia. La corte fece costruire due santuari portatili e vi trasferì la divinità dell'epidemia. Furono portati sulla collina chiamata Funaokayama e lasciati lì, fu offerta musica, e la calamità fu poi incanalata in offerte e fatta allontanare galleggiando verso l'insenatura di Naniwa. Questo rito, il Murasakino Goryoe, è considerato l'inizio del Festival di Imamiya. Si ripeté nel 1001, quando la peste tornò. Questa volta la corte spostò la divinità da Funaokayama e costruì un vero e proprio santuario, con recinto sacro e santuario portatile, sull'antico sito, e lo chiamò Imamiya-sha. È il momento in cui si dice che abbia inizio il santuario come istituzione. Qui sono venerate tre divinità: Onamuchi no Mikoto, Kotoshironushi no Mikoto e Kushinadahime no Mikoto.