Antes de ser un parque, este terreno fue el recinto del Templo Kaneiji. En el período Edo fue uno de los templos más grandes y ricos de la ciudad, y sirvió como templo familiar del clan Tokugawa, que gobernaba el país. Por eso la colina tiene tanto peso en la memoria de Tokio. Después llegaron las convulsiones que pusieron fin al shogunato. Durante la guerra Boshin, que condujo a la Restauración Meiji, la mayor parte del Kaneiji fue destruida y los terrenos pasaron a manos públicas. En enero de 1873, el gobierno emitió un aviso en el que pedía la creación de parques públicos, señalando lugares de interés histórico y belleza paisajística donde la gente pudiera relajarse y disfrutar. Mencionaba por su nombre a Sensoji y Kaneiji. Esto ocurrió apenas un año después de la fundación de Yellowstone, el primer parque nacional del mundo, y el Parque Ueno se estableció ese mismo año, junto con los parques Shiba, Asakusa, Asukayama y Fukugawa. La historia tiene un giro más. En 1924, con motivo de la boda de Hirohito, todo el parque, junto con el museo y el zoológico, fue devuelto al Gobierno Municipal de Tokio como regalo de boda.