La collezione ha inizio nella seconda metà dell'Ottocento, quando Yokohama aprì il suo porto, e arriva fino ai giorni nostri. Comprende artisti strettamente legati a Yokohama, tra cui Imamura Shiko, Shimomura Kanzan e Yoshida Chizuko, e numerose opere del fotografo giapponese-americano Isamu Noguchi. Include inoltre importanti nomi del modernismo come Dalí, Picasso e Magritte. Due grandi acquisizioni ne hanno plasmato i primi sviluppi: la collezione dell'imprenditore Sakata Takeo, fondatore della Sakata Seed Corporation, incentrata sulla scuola di Barbizon, e l'ex Taiko Collection del Nagaoka Contemporary Art Museum. La fotografia occupa qui un posto speciale, e ciò si accorda con la storia della città. Yokohama fu una delle prime città portuali ad aprire uno studio fotografico commerciale, alla fine del periodo Edo, intorno al 1860. Tra i tesori spicca un dagherrotipo del 1854 di Eliphalet Brown Junior, intitolato Endo Matazaemon e i suoi seguaci, che è stato riconosciuto come Bene Culturale Importante. Il museo si è inoltre spinto oltre le proprie mura. Nel 2014 è stato una delle sedi principali della Triennale di Yokohama, diretta dall'artista Morimura Yasumasa, che si è svolta da agosto a novembre con 65 partecipanti e gruppi provenienti da 19 paesi.