La historia comienza en 1750, cuando la República de Venecia decidió dotar a la ciudad de una academia para pintores y escultores. Su primer director fue el pintor Giovanni Battista Piazzetta, y la academia comenzó en un edificio llamado Fonteghetto della Farina, cerca del embarcadero de San Marcos. El traslado a este lugar llegó con Napoleón. Tras la caída de la República, el complejo de Santa Maria della Carità pasó al Estado. En 1807, por decreto napoleónico, se convirtió en sede de la academia, que pasó a llamarse Real Academia de Bellas Artes, y también de su galería. Por eso el museo lleva el nombre de la academia, aunque empezó como una colección didáctica. La galería abrió al público en 1817, tras importantes obras para adaptar las salas históricas, y atrajo a multitudes de visitantes. Durante décadas, la escuela la gestionó. Luego, en 1879, las dos instituciones se separaron, aunque siguieron compartiendo el mismo antiguo monasterio, iglesia y edificios escolares. La academia se marchó definitivamente en 2004, liberando espacio que se renovó para las necesidades de un museo moderno.