Bevor die Medici diesen Ort zu ihrem Machtzentrum machten, sollte er eigentlich deren ultimative Demütigung sein. Um 1458 beauftragte ein wohlhabender Bankier namens Luca Pitti den Bau dieses Palastes mit einem Ziel: seine Rivalen, die Familie Medici, zu übertreffen. Legenden besagen, dass Pitti verlangte, die Fenster seines neuen Heims sollten größer sein als die gesamten Eingangstore des Medici-Palastes. Er träumte angeblich sogar von einem Innenhof, der so groß war, dass die gesamte Medici-Residenz darin Platz finden würde. Obwohl der Volksmund das Design dem großen Filippo Brunelleschi zuschreibt, glauben moderne Historiker, dass es sein Schüler Luca Fancelli war, der die ersten Steine legte. Leider wurde Pittis Ehrgeiz sein Untergang; seine Familie ging bankrott, bevor der Palast fertiggestellt war, und hinterließ die massive, halbfertige Festung als stilles Mahnmal des Stolzes, bis seine Feinde sie schließlich kauften.