La partie la plus ancienne de Saint-Martin a été construite alors que la Bretagne faisait encore partie du monde romain. Sa destination initiale reste une question ouverte. Il pourrait s'agir d'une église, d'un mausolée ou de quelque chose de tout autre. Selon une hypothèse, il s'agissait d'une chapelle funéraire romaine antérieure à l'an 400. La zone a livré de nombreuses sépultures romaines, et la route romaine menant à Canterbury depuis le port de Richborough passait tout près. Bède, qui écrivait au début du VIIIe siècle, laisse entendre que le bâtiment était une église à l'époque romaine, mais l'érudition moderne a remis cela en question. Vient ensuite l'histoire humaine. Vers l'an 580, Berthe, une princesse chrétienne originaire de Tours, en France, épousa Ethelbert de Kent, un Anglo-Saxon païen. Ethelbert restaura Saint-Martin pour elle, et elle y priait régulièrement. Bède la place ici en prière, et l'église se trouve du côté est de Canterbury, juste au nord de la route de Sandwich, exactement là où Bède la décrit. Ainsi, bien avant qu'un missionnaire ne pose le pied dans le Kent, une reine chrétienne disposait déjà d'un lieu de culte sur cette colline.