Mucho antes de que existiera el templo, este valle era conocido como Kamegayatsu, y era tierra familiar del clan Minamoto. La montaña que queda detrás es Genji-yama, y el padre de Yoritomo, Minamoto no Yoshitomo, tuvo en su momento una residencia aquí. En 1180, cuando Minamoto no Yoritomo entró por primera vez en Kamakura, planeó construir su residencia, sede de su nuevo gobierno, justo en este lugar. Cambió de opinión por dos razones. Un hombre llamado Okazaki Yoshizane ya había erigido aquí un salón para rezar por el alma de Yoshitomo, y el terreno era simplemente demasiado estrecho. Así que el shogunato echó raíces en otro lugar, y este suelo siguió siendo un lugar de memoria. El templo llegó después. Yoritomo murió en 1199, según se cuenta tras una caída de su caballo. En 1200 su viuda, Hōjō Masako, fundó Jufuku-ji en su honor, en la antigua propiedad de Yoshitomo. Invitó al monje Eisai a ser el primer abad. La propia Masako, que vivió de 1157 a 1225, se volvió tan famosa en Japón que aparece hasta hoy en dramas televisivos de época.