La collection commence dans la seconde moitié du XIXe siècle, lorsque Yokohama ouvrit son port, et elle se poursuit jusqu'à aujourd'hui. Elle comprend des artistes étroitement liés à Yokohama, parmi lesquels Imamura Shiko, Shimomura Kanzan et Yoshida Chizuko, ainsi que de nombreuses œuvres de l'artiste nippo-américain Isamu Noguchi. Elle conserve également des noms majeurs de la modernité, comme Dalí, Picasso et Magritte. Deux acquisitions importantes l'ont façonnée dès le départ : la collection de l'homme d'affaires Sakata Takeo, fondateur de la Sakata Seed Corporation, centrée sur l'école de Barbizon, et l'ancienne collection Taiko du musée d'art contemporain de Nagaoka. La photographie occupe une place particulière ici, et elle correspond à l'histoire de la ville. Yokohama fut l'une des premières villes portuaires à ouvrir un studio photographique commercial, à la fin de l'époque d'Edo, vers les années 1860. Parmi les trésors figure un daguerréotype de 1854 réalisé par Eliphalet Brown Junior, intitulé Endo Matazaemon et ses serviteurs, qui a été classé bien culturel important. Le musée a également franchi les limites de ses propres murs. En 2014, il fut l'un des principaux lieux de la Triennale de Yokohama, dirigée par l'artiste Morimura Yasumasa, qui se déroula d'août à novembre avec 65 participants et des groupes venus de 19 pays.