La storia svolta nel 1590, quando Toyotomi Hideyoshi, il guerriero che unificò il Giappone, conquistò la regione del Kanto. Prese il Castello di Kawagoe nell'ambito di quella campagna. Poi ordinò a Tokugawa Ieyasu, suo vassallo, di governare il Kanto. Ieyasu fondò lo shogunato Tokugawa nel 1603, e il periodo Edo che seguì durò fino al 1867. Edo, corrispondente all'odierna Tokyo, divenne il centro del potere, mentre Kawagoe si trovava a nord come città castello e anello vitale nella catena dei commerci. Le merci dirette a Edo viaggiavano lungo la strada Kawagoe-kaido, così una fortezza che un tempo difendeva dagli attacchi provenienti dal nord ora sorvegliava una trafficata via commerciale. Quella ricchezza plasmò la città che vedete oggi. I mercanti costruirono più di duecento magazzini kurazukuri a due piani, con spesse pareti di terra progettate per resistere al fuoco, per immagazzinare le merci in transito. Alcuni di questi depositi ornati sono ancora in piedi, e sono il motivo per cui Kawagoe si guadagnò il soprannome di Piccola Edo. Il castello e il quartiere dei magazzini sono due metà della stessa storia: il potere del signore e la prosperità dei mercanti.