Il Chishaku-in ebbe inizio lontano da Kyoto. Le sue radici affondano sul Monte Negoro a Kishu, in quella che oggi è la Prefettura di Wakayama, dove era il tempio di studio del Negoro-ji, un vasto centro monastico. La tradizione fa risalire la sua fondazione al periodo Nanbokucho, nel XIV secolo. Nel 1585, le forze di Toyotomi Hideyoshi attaccarono Negoro, e l'intera montagna fu data alle fiamme. Il resoconto conservato dal tempio dice che circa duemilasettecento edifici sorgevano lì quando bruciò — un'intera città di monaci ridotta in cenere. Il capo del Chishaku-in di allora, Genyu, aveva già condotto i suoi discepoli via prima dell'attacco e si era rifugiato sul Monte Koya. Trascorse più di un decennio sperando di restaurare la linea di insegnamento della sua scuola. Poi, nel 1601, l'anno dopo la Battaglia di Sekigahara, Tokugawa Ieyasu gli concesse edifici e terreni a Higashiyama, sui terreni del Santuario Toyokuni — il santuario che onora Hideyoshi stesso. Quando la linea Toyotomi cadde nel 1615, lo shogunato consegnò anche il vicino monastero Zen di Shoun-ji, e il Chishaku-in lo assorbì, assumendo il nome della montagna Iobusan e il nome del tempio Negoro-ji. Ecco il colpo di scena su cui vale la pena riflettere: Shoun-ji era stato fondato da Hideyoshi per pregare per il suo amato figlio Tsurumatsu, morto all'età di tre anni. Un tempio distrutto da Hideyoshi fu ricostruito su un terreno intrecciato con il dolore familiare di Hideyoshi stesso.