Muito antes de o templo existir, este vale era conhecido como Kamegayatsu, e era terra da família Minamoto. A montanha atrás dele é Genji-yama, e o pai de Yoritomo, Minamoto no Yoshitomo, certa vez teve uma residência aqui. Em 1180, quando Minamoto no Yoritomo entrou pela primeira vez em Kamakura, planejou construir sua residência, a sede de seu novo governo, exatamente neste local. Ele mudou de ideia por dois motivos. Um homem chamado Okazaki Yoshizane já havia erguido aqui um salão para rezar pela alma de Yoshitomo, e o terreno era simplesmente estreito demais. Assim, o xogunato se estabeleceu em outro lugar, e este solo permaneceu como um lugar de memória. O templo surgiu depois. Yoritomo morreu em 1199, segundo se relata, após uma queda de cavalo. Em 1200, sua viúva, Hōjō Masako, fundou o Jufuku-ji para homenageá-lo, na antiga propriedade de Yoshitomo. Ela convidou o monge Eisai para ser o primeiro abade. A própria Masako, que viveu de 1157 a 1225, tornou-se tão famosa no Japão que ainda hoje aparece em dramas de época para a televisão.