L'histoire commence ailleurs. Le 1er décembre 1952, le musée ouvrait ses portes à Kyobashi, dans l'arrondissement de Chuo, en tant que premier musée national d'art du Japon. Cet établissement national très attendu, où les visiteurs pouvaient découvrir l'art moderne, était installé dans l'ancien siège de la société Nikkatsu. L'architecte Maekawa Kunio avait conçu et rénové le bâtiment pour sa nouvelle vocation. Dès le départ, le musée a pensé de manière transversale. En 1953, il organisa une exposition de photographie contemporaine du Japon et des États-Unis. En 1954 vinrent Gropius et le Bauhaus. Ensemble, ces projets touchaient à la photographie, au design et à l'architecture, bien au-delà de la peinture et de la sculpture. Une antenne du musée à Kyoto se développa également et, en 1967, elle devint le Musée national d'art moderne de Kyoto, indépendant. De retour à Tokyo, la collection continua de s'enrichir grâce à de nouvelles acquisitions, à des transferts d'œuvres de la Commission de protection des biens culturels, ainsi qu'à des dons d'artistes et de collectionneurs. Finalement, le bâtiment de Kyobashi devint tout simplement trop petit. En juin 1969, le musée rouvrit ici, à Takebashi, dans un bâtiment entièrement neuf.