La famiglia dietro tutto questo erano i Guzmán di La Algaba, una delle più nobili stirpi di Siviglia. La loro storia è quasi un esempio da manuale di come crebbe l'aristocrazia cittadina. La prosperità della nobiltà sivigliana si manifestava in residenze che venivano ampliate e trasformate, e da ciò nacque un modello distintamente sivigliano di architettura domestica: un equilibrio tra vecchio e nuovo, tra tradizione e modernità, che attraversava tutta la cultura del Rinascimento sivigliano. Questo palazzo non fu mai costruito in un solo gesto. Assorbì proprietà vicine nel tempo, e il parallelo con la Casa de Pilatos è sorprendente, perché i resoconti dicono che le due casate raccolsero lo stesso numero di proprietà nei loro palazzi, undici ciascuna. Poi venne la lunga caduta. Attraverso un lento e progressivo degrado, saccheggi e rovina, l'antica dimora dei Guzmán arrivò vicina a scomparire del tutto. Una traccia di quel declino sopravvive in un contratto del milleottocentoventidue, quando Eugenio Eulalio de Palafox y Portocarrero, undicesimo marchese di La Algaba, vendette il palazzo per ottantacinquemila reales a Sebastián Duarte y Sartorio. Non molto prima, lo stesso marchese aveva rimodellato i piani inferiori, aggiungendo un portone che collegava la base della torre al giardino, e aveva rielaborato il giardino stesso. Ciò che salvò l'edificio fu un rigoroso processo di riabilitazione, e all'inizio del XXI secolo il palazzo riemerse in tutta la sua forza. Non male come secondo atto per una casa che era quasi diventata una nota a piè di pagina.