Avant que les Médicis n'en fassent leur siège du pouvoir, ce lieu devait être l'insulte ultime à leur égard. Vers 1458, un riche banquier nommé Luca Pitti commanda ce palais avec un seul but : éclipser ses rivaux, la famille Médicis. La légende raconte que Pitti exigea que les fenêtres de sa nouvelle demeure soient plus grandes que les portes d'entrée principales du palais des Médicis. Il aurait même rêvé d'une cour si vaste qu'elle pourrait contenir toute la résidence des Médicis à l'intérieur. Bien que le mythe populaire attribue la conception au grand Filippo Brunelleschi, les historiens modernes pensent que c'est en réalité son élève, Luca Fancelli, qui posa les premières pierres. Malheureusement, l'ambition de Pitti causa sa perte ; sa famille fit faillite avant que le palais ne soit achevé, laissant cette forteresse massive comme un monument silencieux à l'orgueil jusqu'à ce que ses ennemis finissent par l'acheter.