La historia da un giro en 1590, cuando Toyotomi Hideyoshi, el guerrero que unificó Japón, conquistó la región de Kanto. Tomó el Castillo de Kawagoe como parte de esa campaña. Después ordenó a Tokugawa Ieyasu, su vasallo, gobernar Kanto. Ieyasu fundó más tarde el shogunato Tokugawa en 1603, y el periodo Edo que siguió se prolongó hasta 1867. Edo, que es el Tokio moderno, se convirtió en el centro del poder, y Kawagoe quedó al norte como ciudad castillo y eslabón vital en la cadena comercial. Las mercancías destinadas a Edo viajaban por la carretera Kawagoe-kaido, de modo que una fortaleza que antes había defendido contra los atacantes del norte vigilaba ahora una ruta comercial muy transitada. Esa riqueza dio forma a la ciudad que ven hoy. Los comerciantes construyeron más de doscientos almacenes kurazukuri de dos plantas, con gruesos muros de tierra diseñados para resistir el fuego, donde guardar las mercancías que pasaban por la ciudad. Algunos de estos ornamentados almacenes aún se conservan, y son la razón por la que Kawagoe se ganó el apodo de Pequeño Edo. El castillo y el barrio de almacenes son dos mitades de una misma historia: el poder del señor y la prosperidad de los comerciantes.