Molto prima che esistesse il tempio, questa valle era conosciuta come Kamegayatsu ed era terreno di famiglia del clan Minamoto. La montagna alle sue spalle è Genji-yama, e il padre di Yoritomo, Minamoto no Yoshitomo, possedeva un tempo una residenza qui. Nel 1180, quando Minamoto no Yoritomo entrò per la prima volta a Kamakura, progettò di costruire la sua residenza, sede del nuovo governo, proprio in questo punto. Cambiò idea per due ragioni. Un uomo di nome Okazaki Yoshizane aveva già innalzato qui una sala per pregare per l'anima di Yoshitomo, e il terreno era semplicemente troppo stretto. Così lo shogunato mise radici altrove, e questo luogo rimase un luogo di memoria. Il tempio sorse più tardi. Yoritomo morì nel 1199, secondo quanto riportato in seguito a una caduta da cavallo. Nel 1200 la sua vedova, Hōjō Masako, fondò il Jufuku-ji in suo onore, sull'antica tenuta di Yoshitomo. Invitò il monaco Eisai a diventarne il primo abate. Masako stessa, vissuta dal 1157 al 1225, divenne così celebre in Giappone che compare ancora oggi nei drammi televisivi d'epoca.