O acervo começa na segunda metade do século XIX, quando Yokohama abriu seu porto, e chega até os dias de hoje. Ele inclui artistas intimamente ligados a Yokohama, entre eles Imamura Shiko, Shimomura Kanzan e Yoshida Chizuko, e inúmeras obras do artista nipo-americano Isamu Noguchi. Também abriga nomes modernos fundamentais, como Dalí, Picasso e Magritte. Duas grandes aquisições o moldaram desde cedo: a coleção do empresário Sakata Takeo, fundador da Sakata Seed Corporation, centrada na escola de Barbizon, e a antiga Coleção Taiko, do Museu de Arte Contemporânea Nagaoka. A fotografia ocupa um lugar especial aqui, e isso combina com a história da cidade. Yokohama foi uma das primeiras cidades portuárias a abrir um estúdio fotográfico comercial, no final do período Edo, por volta da década de 1860. Entre os tesouros está um daguerreótipo de 1854, de Eliphalet Brown Junior, intitulado Endo Matazaemon e seus Retentores, que foi declarado Bem Cultural Importante. O museu também ultrapassou os próprios muros. Em 2014, foi um dos principais locais da Trienal de Yokohama, dirigida pelo artista Morimura Yasumasa, que aconteceu de agosto a novembro, com 65 participantes e grupos de 19 países.