L'histoire commence en 1750, lorsque la République de Venise décida de doter la ville d'une académie pour les peintres et les sculpteurs. Son premier directeur fut le peintre Giovanni Battista Piazzetta, et l'académie débuta dans un bâtiment appelé Fonteghetto della Farina, près du débarcadère de Saint-Marc. Le transfert vers ce lieu est lié à Napoléon. Après la chute de la République, le complexe de Santa Maria della Carità passa à l'État. En 1807, par décret napoléonien, il accueillit l'académie, rebaptisée Académie royale des beaux-arts, ainsi que sa galerie. C'est pourquoi le musée porte le nom de l'académie, bien qu'il ait commencé comme collection pédagogique. La galerie ouvrit au public en 1817, après d'importants travaux d'adaptation des salles historiques, et attira de nombreux visiteurs. Pendant des décennies, l'école en assura la gestion. Puis, en 1879, les deux institutions se séparèrent, tout en continuant à partager le même ancien monastère, la même église et les mêmes bâtiments scolaires. L'académie quitta finalement les lieux en 2004, libérant un espace qui fut rénové pour répondre aux besoins d'un musée moderne.