Bien avant la construction du temple, cette vallée était connue sous le nom de Kamegayatsu, et elle appartenait au domaine familial du clan Minamoto. La montagne qui la surplombe est le Genji-yama, et le père de Yoritomo, Minamoto no Yoshitomo, y possédait autrefois une résidence. En 1180, lorsque Minamoto no Yoritomo entra pour la première fois à Kamakura, il projeta d'y édifier sa résidence, siège de son nouveau gouvernement, précisément à cet endroit. Il changea d'avis pour deux raisons. Un homme nommé Okazaki Yoshizane avait déjà élevé ici une salle pour prier pour l'âme de Yoshitomo, et le terrain était tout simplement trop étroit. Le shogunat s'implanta donc ailleurs, et ce lieu demeura un espace de mémoire. Le temple vint plus tard. Yoritomo mourut en 1199, dit-on après une chute de cheval. En 1200, sa veuve, Hōjō Masako, fonda Jufuku-ji en son honneur, sur l'ancien domaine de Yoshitomo. Elle invita le moine Eisai à en devenir le premier abbé. Masako elle-même, qui vécut de 1157 à 1225, devint si célèbre au Japon qu'elle apparaît encore aujourd'hui dans les feuilletons télévisés en costumes.