La colección comienza en la segunda mitad del siglo XIX, cuando Yokohama abrió su puerto, y llega hasta hoy. Incluye artistas estrechamente vinculados a Yokohama, entre ellos Imamura Shiko, Shimomura Kanzan y Yoshida Chizuko, y numerosas piezas del artista nipoestadounidense Isamu Noguchi. También reúne nombres modernos fundamentales como Dalí, Picasso y Magritte. Dos grandes adquisiciones le dieron forma desde el principio: la colección del empresario Sakata Takeo, fundador de la Sakata Seed Corporation, centrada en la escuela de Barbizon, y la antigua Colección Taiko del Museo de Arte Contemporáneo Nagaoka. La fotografía ocupa un lugar especial aquí, y encaja con la historia de la ciudad. Yokohama fue una de las primeras ciudades portuarias en abrir un estudio fotográfico comercial, a finales del periodo Edo, hacia la década de 1860. Entre los tesoros se encuentra un daguerrotipo de 1854 de Eliphalet Brown Junior, titulado Endo Matazaemon y sus seguidores, que ha sido declarado Bien Cultural Importante. El museo también ha salido de sus propios muros. En 2014 fue una de las sedes principales de la Trienal de Yokohama, dirigida por el artista Morimura Yasumasa, que se desarrolló de agosto a noviembre con 65 participantes y grupos de 19 países.