Notre histoire ne commence pas à Ueno, mais de l'autre côté de la ville, à Yushima. Le 10 mars 1872, une exposition s'ouvre dans la salle Taiseiden du Yushima Seido et dure vingt jours. Il s'agit de la première exposition organisée par le Bureau des musées du ministère de l'Éducation, créé l'année précédente. Cet événement donne naissance au Musée du ministère de l'Éducation, et le musée considère depuis lors cette année comme sa date de fondation. L'exposition était composée principalement d'objets destinés à l'Exposition universelle de Vienne de 1873. Les photographies de l'époque montrent des vitrines remplies dans chaque coin, contenant des peintures et de la calligraphie, des antiquités et même des animaux et des plantes naturalisés. C'était à la fois un musée et un cabinet de curiosités. L'institution a poursuivi son chemin, changeant plusieurs fois de nom et de ministère de tutelle. En 1876, un haut fonctionnaire originaire de Satsuma, Machida Hisanari, est nommé à la tête du musée. Il avait beaucoup travaillé, au début de l'ère Meiji, pour créer des musées et protéger les biens culturels, et le musée le considère comme son premier directeur. Un monument en son honneur se dresse dans le jardin arrière. Plus tard, le musée passe sous la tutelle du ministère de l'Agriculture et du Commerce en 1881, puis de la Maison impériale en 1886, et il s'installe dans le parc d'Ueno, sur l'emplacement de l'ancienne résidence principale du temple Kaneiji.