Bevor hier ein Park entstand, war das Gelände der Kaneiji-Tempel. In der Edo-Zeit gehörte er zu den größten und reichsten Tempeln der Stadt und diente als Familientempel des herrschenden Tokugawa-Clans. Deshalb hat der Hügel für die Erinnerung Tokios so große Bedeutung. Dann folgten die Umbrüche, die das Shogunat beendeten. Während des Boshin-Krieges, der zur Meiji-Restauration führte, wurde der größte Teil des Kaneiji zerstört, und das Land ging in öffentlichen Besitz über. Im Januar 1873 erließ die Regierung eine Bekanntmachung, die öffentliche Parks forderte, und nannte historisch bedeutsame Orte und Plätze von landschaftlicher Schönheit, an denen die Menschen sich erholen und vergnügen konnten. Darin wurden Sensoji und Kaneiji namentlich erwähnt. Dies geschah nur ein Jahr nach der Gründung des Yellowstone-Nationalparks, des weltweit ersten Nationalparks, und der Ueno-Park wurde noch im selben Jahr angelegt, zusammen mit dem Shiba-, dem Asakusa-, dem Asukayama- und dem Fukugawa-Park. Die Geschichte hat noch eine weitere Wendung. Anlässlich der Hochzeit von Hirohito wurde der gesamte Park 1924 zusammen mit dem Museum und dem Zoo als Hochzeitsgeschenk an die Stadtverwaltung Tokio zurückgegeben.