Antes dos Médici fazerem deste o seu centro de poder, este local pretendia ser o maior insulto contra eles. Por volta de 1458, um banqueiro rico chamado Luca Pitti encomendou este palácio com um objetivo: ofuscar seus rivais, a família Médici. As lendas dizem que Pitti exigiu que as janelas de sua nova casa fossem maiores do que as portas principais do palácio dos Médici. Ele até teria sonhado com um pátio tão vasto que pudesse caber toda a residência dos Médici dentro dele. Embora o mito popular atribua o projeto ao mestre Filippo Brunelleschi, historiadores modernos acreditam que foi na verdade seu aluno, Luca Fancelli, quem lançou as primeiras pedras. Infelizmente, a ambição de Pitti foi sua ruína; sua família faliu antes que o palácio estivesse terminado, deixando a enorme fortaleza inacabada como um monumento silencioso ao orgulho, até que seus inimigos eventualmente a comprassem.