Avant de devenir un parc, ce lieu était l'enceinte du temple Kaneiji. À l'époque d'Edo, c'était l'un des temples les plus grands et les plus riches de la ville, et il servait de temple familial au clan Tokugawa, qui gouvernait alors le pays. C'est pourquoi cette colline occupe une si grande place dans la mémoire de Tokyo. Vinrent ensuite les bouleversements qui mirent fin au shogunat. Pendant la guerre de Boshin, qui conduisit à la restauration de Meiji, la majeure partie du Kaneiji fut détruite, et les terrains passèrent entre les mains de l'État. En janvier 1873, le gouvernement publia un avis appelant à la création de parcs publics, désignant des lieux d'intérêt historique et de beauté pittoresque où les habitants pourraient se détendre et profiter de leur temps libre. Il mentionnait explicitement Sensoji et Kaneiji. Cela intervint tout juste un an après la création de Yellowstone, le premier parc national au monde, et le parc d'Ueno fut fondé plus tard la même année, aux côtés des parcs de Shiba, Asakusa, Asukayama et Fukugawa. L'histoire réserve encore un rebondissement. En 1924, à l'occasion du mariage d'Hirohito, l'ensemble du parc, ainsi que le musée et le zoo, fut restitué à la municipalité de Tokyo en guise de cadeau de mariage.