A história deste lugar é marcada pela trajetória fascinante de dois homens: Si Moussa e o seu filho, Ba Ahmed. Si Moussa, que curiosamente descendia de uma família de escravos, subiu na hierarquia até se tornar o Grão-Vizir do Sultão Mohamed Quinto em 1860. Ele iniciou a construção do núcleo original do palácio. No entanto, foi o seu filho, Ba Ahmed, quem elevou a Bahia ao auge do seu esplendor entre 1894 e 1900. Ba Ahmed era um homem de poder absoluto, servindo como regente de um jovem sultão inexperiente. Para demonstrar a sua autoridade, ele expandiu o palácio de forma quase caótica, comprando terrenos vizinhos e adicionando quartos conforme a necessidade, o que explica a planta irregular que você percorre hoje. Infelizmente, após a sua morte em 1900, o palácio foi saqueado por rivais e até pelos próprios servos do sultão, deixando as salas vazias que observamos agora.