A história começa em 1750, quando a República de Veneza decidiu dar à cidade uma academia para pintores e escultores. O seu primeiro diretor foi o pintor Giovanni Battista Piazzetta, e a academia começou num edifício chamado Fonteghetto della Farina, perto do desembarcadouro de São Marcos. A mudança para este local aconteceu com Napoleão. Após a queda da República, o complexo de Santa Maria della Carità passou para o Estado. Em 1807, por decreto napoleônico, tornou-se sede da academia, que foi rebatizada como Academia Real de Belas-Artes, e também da sua galeria. Por isso, o museu tem o nome da academia, embora tenha começado como uma coleção de ensino. A galeria abriu ao público em 1817, após grandes obras de adaptação das salas históricas, e atraiu grandes multidões de visitantes. Durante décadas, a escola a administrou. Depois, em 1879, as duas instituições separaram-se, embora continuassem dividindo o mesmo antigo mosteiro, igreja e edifícios escolares. A academia saiu definitivamente em 2004, liberando espaço que foi renovado para as necessidades de um museu moderno.