El Chishaku-in comenzó lejos de Kioto. Sus raíces se encuentran en el monte Negoro, en Kishu, en lo que hoy es la prefectura de Wakayama, donde era el templo de estudios del Negoro-ji, un vasto centro monástico. La tradición remonta su fundación al período Nanbokucho, en el siglo XIV. En 1585, las fuerzas de Toyotomi Hideyoshi atacaron Negoro, y toda la montaña quedó envuelta en llamas. El relato conservado por el templo dice que alrededor de dos mil setecientos pabellones se alzaban allí cuando se incendió: toda una ciudad de monjes reducida a cenizas. El superior del Chishaku-in en ese momento, Genyu, ya había llevado a sus discípulos lejos antes del ataque y se había refugiado en el monte Koya. Pasó más de una década esperando restaurar la línea de enseñanza de su escuela. Luego, en 1601, el año después de la batalla de Sekigahara, Tokugawa Ieyasu le concedió edificios y tierras en Higashiyama, en los terrenos del santuario Toyokuni, el santuario que honraba al propio Hideyoshi. Cuando la línea Toyotomi cayó en 1615, el shogunato también entregó el monasterio zen vecino de Shoun-ji, y el Chishaku-in lo absorbió, tomando el nombre de montaña Iobusan y el nombre de templo Negoro-ji. Aquí está el giro que vale la pena considerar: Shoun-ji había sido fundado por Hideyoshi para rezar por su amado hijo Tsurumatsu, que murió a los tres años. Un templo destruido por Hideyoshi fue reconstruido en un terreno entrelazado con el propio dolor familiar de Hideyoshi.