Vers le milieu du XIVe siècle, les comtes décidèrent que la forteresse de pierre, pleine de courants d'air, n'était plus assez confortable pour une vie de luxe et déplacèrent leur résidence ailleurs,. Le Gravensteen prit alors une fonction plus sombre, servant de haute cour et de prison principale pour le comté de Flandre pendant 400 ans,. À l'intérieur, le Musée des Objets Judiciaires expose aujourd'hui une collection glaçante d'instruments de torture historiques, notamment des vis à pouces et des colliers de fer, utilisés pour obtenir des aveux durant ces siècles,. L'une des pièces les plus marquantes est la guillotine originale, utilisée pour la dernière exécution publique à Gand pas plus tard qu'en 1861,. Elle rappelle brutalement la transition du château, de bastion royal à site d'une autorité judiciaire implacable.