Nossa história não começa em Ueno, mas do outro lado da cidade, em Yushima. Em 10 de março de 1872, uma exposição foi inaugurada no salão Taiseiden do Yushima Seido e durou vinte dias. Foi a primeira exposição organizada pelo Departamento de Museus do Ministério da Educação, criado no ano anterior. Esse evento deu origem ao Museu do Ministério da Educação, e o museu considera desde então aquele ano como sua fundação. A exposição era composta principalmente de itens destinados à Exposição Mundial de Viena de 1873. Imagens da época mostram vitrines lotadas em todos os cantos, com pinturas e caligrafias, antiguidades e até animais e plantas empalhados. Era parte museu, parte gabinete de curiosidades. A instituição seguiu adiante, mudando de nome e de ministério várias vezes. Em 1876, um funcionário natural de Satsuma, chamado Machida Hisanari, foi nomeado chefe do museu. Ele se dedicara intensamente, no início da era Meiji, a estabelecer museus e proteger bens culturais, e o museu o considera seu primeiro diretor. Um monumento em sua homenagem fica no jardim dos fundos. Mais tarde, o museu passou para o Ministério da Agricultura e Comércio, em 1881, e para o Ministério da Casa Imperial, em 1886, e instalou-se no Parque Ueno, no local da antiga residência principal do templo Kaneiji.