Le bâtiment principal du musée et ses abords ont été reconnus au plus haut niveau. En 2007, le bâtiment principal a été classé Bien culturel important du Japon. Puis, le 17 juillet 2016, lors de la quarantième session du Comité du patrimoine mondial à Istanbul, le bâtiment principal et ses abords ont été inscrits sur la Liste du patrimoine mondial. Ils font partie d'un ensemble intitulé L'Œuvre architecturale de Le Corbusier, une contribution exceptionnelle au Mouvement moderne. Cet ensemble compte 17 composantes réparties dans sept pays : France, Suisse, Belgique, Allemagne, Argentine, Inde et Japon. C'était la première fois qu'une inscription en série couvrant trois continents était approuvée par une seule décision. Le bâtiment s'est agrandi au fil du temps. Un nouveau bâtiment fut achevé en 1979, à l'occasion du vingtième anniversaire du musée, conçu pour fonctionner en harmonie avec le bâtiment principal de Le Corbusier. Ses murs extérieurs sont faits de panneaux préfabriqués à joints ouverts, auxquels sont intégrées des tuiles de grès vert foncé. Il est disposé de façon à entourer des zelkovas et des ginkgos, ce qui crée une cour profondément verte. Un bâtiment d'exposition suivit en 1997. Le jardin de devant a été rénové en avril 2022, afin que vous puissiez de nouveau en faire l'expérience à peu près tel qu'il était lors de la création du musée. Depuis le hall, vous pouvez voir au sud le Tokyo Bunka Kaikan.