O Kan'eiji tornou-se um dos dois templos funerários da família xogunal Tokugawa, dividindo essa função com o Zojoji, em Shiba. No auge, toda a colina de Ueno estava coberta por salões e subtemplos, com a residência principal, chamada Entsuin, no centro. Depois veio 1868, o primeiro ano do capítulo final da era Keio e o fim do xogunato. O exército da expedição do leste confrontou os Shogitai na chamada Batalha de Ueno, e grande parte do complexo do templo foi destruída pelo fogo. Uma paisagem que levara gerações para ser construída foi em grande parte perdida em um único conflito. O atual Konpon Chudo, o salão central, é uma história de resgate e reaproveitamento. Em 1879, o décimo primeiro ano do reinado de Meiji, contado a partir de 1868 como o ano um, o edifício foi transferido para cá a partir do Honjido do templo Kita-in, em Kawagoe. Portanto, o grande salão que você vê hoje não foi construído neste local. Ele foi trazido para cá para dar de novo um coração ao templo.