Kan'eiji devint l'un des deux temples funéraires de la famille shogunale Tokugawa, partageant ce rôle avec Zojoji à Shiba. À son apogée, toute la colline d'Ueno était couverte de salles et de sous-temples, avec la résidence principale, appelée Entsuin, en son centre. Puis vint 1868, la première année de la dernière phase de l'ère Keio et la fin du shogunat. L'armée expéditionnaire de l'est affronta les Shogitai lors de la bataille d'Ueno, et une grande partie du complexe du temple fut détruite par le feu. Un paysage qui avait mis des générations à se constituer fut en grande partie perdu en un seul conflit. Le Konpon Chudo actuel, le hall central, est une histoire de sauvetage et de réemploi. En 1879, la onzième année du règne de Meiji, comptée à partir de 1868 comme première année, le bâtiment fut transféré ici depuis le Honjido du temple Kita-in de Kawagoe. Ainsi, la grande salle que vous voyez aujourd'hui n'a pas été construite à cet emplacement. Elle y fut transportée pour redonner un cœur au temple.