Sebbene molti nobili di alto rango siano stati tenuti qui, la residente più famosa del castello fu senza dubbio Maria Stuarda, regina di Scozia. Arrivò nel giugno del 1567 dopo la sua resa alla battaglia di Carberry Hill. I suoi undici mesi di permanenza furono segnati da una profonda tragedia e da un alto dramma. Mentre era confinata tra queste mura di pietra, subì un aborto spontaneo di due gemelli e fu costretta sotto coercizione a firmare i documenti di abdicazione, cedendo il trono al figlio neonato, Giacomo VI. Nonostante il suo dolore, il leggendario carisma di Maria non svanì mai. Riuscì a incantare i membri della stessa famiglia che la teneva prigioniera, tra cui George Douglas e un giovane paggio di nome Willie Douglas. La notte del 2 maggio 1568, durante una cena festiva in cui le guardie erano distratte, Willie riuscì a rubare le chiavi del castello. Maria fuggì dall'isola vestita da serva e fu trasportata a remi attraverso le acque oscure verso la libertà. Fu una delle fughe più audaci della storia reale scozzese, anche se purtroppo la sua libertà sarebbe durata poco.