La storia inizia nel 1750, quando la Repubblica di Venezia decise di dotare la città di un'accademia per pittori e scultori. Il suo primo direttore fu il pittore Giovanni Battista Piazzetta, e l'accademia ebbe sede in un edificio chiamato Fonteghetto della Farina, vicino all'approdo di San Marco. Il trasferimento in questo luogo avvenne con Napoleone. Dopo la caduta della Repubblica, il complesso di Santa Maria della Carità passò allo Stato. Nel 1807, con un editto napoleonico, vi trovarono sede l'accademia, ribattezzata Regia Accademia di Belle Arti, e la sua galleria. Per questo il museo porta il nome dell'accademia, sebbene sia nato come collezione didattica. La galleria aprì al pubblico nel 1817, dopo importanti lavori di adattamento delle antiche sale, e attirò molti visitatori. Per decenni la scuola ne curò la gestione. Poi, nel 1879, le due istituzioni si separarono, pur continuando a condividere l'antico monastero, la chiesa e gli edifici scolastici. L'accademia lasciò definitivamente la sede nel 2004, liberando spazi che furono ristrutturati per le esigenze di un museo moderno.