El castillo que ve hoy fue en gran parte obra de Felipe de Alsacia, conde de Flandes, quien ordenó su construcción en el año 1180,. Felipe fue un destacado cruzado que había viajado extensamente por Tierra Santa. Los historiadores creen que el diseño de Gravensteen, con su torreón central y la casa de la puerta circundante, estuvo fuertemente influenciado por las imponentes fortificaciones de piedra que presenció durante la Segunda Cruzada,. Sin embargo, este castillo no se construyó solo para la defensa contra invasores extranjeros; fue diseñado para intimidar a los ciudadanos ricos de Gante, que a menudo eran propensos a rebelarse contra la autoridad fiscal del conde,. Las veinticuatro torretas montadas en la muralla y el foso defensivo, alimentado por el río Lys, enviaban un mensaje claro: el conde tenía el control.