Bien avant que les Franciscains n'y vivent, cet endroit appartenait à un autre type de communauté religieuse : une maison de femmes pénitentes, le Büsserinnenhaus, fondée en 1383. En novembre 1384, son administrateur, Konrad Schneider — l'un des plus fervents soutiens de la fondation — acheta une maison appartenant à Heinrich von Pottendorf, située entre la Singerstrasse et la Weihburggasse. Cette maison avait elle-même été construite sur le site de deux bâtiments plus anciens, et il l'acheta pour environ quatre-vingt-treize livres de pfennigs viennois sur les fonds de la fondation. Les femmes, qui étaient jusqu'alors logées dans la Kumpfgasse, emménagèrent ici. En 1387, une chapelle dédiée à Saint Jérôme avait été construite et consacrée par l'évêque titulaire de Castoria. C'est là que le nom de cette église est né, il y a plus de six siècles. La communauté n'est pas restée inactive. Elle fut reconstruite au XVe siècle, avec un nouveau dortoir en 1455, et en 1467, l'apothicaire Ulrich Vogler supervisa les travaux de construction. Cette même année, une église nouvellement construite — une extension de la chapelle Saint-Jérôme, payée en grande partie par la fondation du maire Konrad Hölzler le Jeune — fut consacrée par l'évêque Albert de Passau. Dévotion et argent allaient de pair ici. Entre 1387 et 1511, les biens de la communauté comprenaient un bain appelé le Perliebin, et Hölzler, décédé en 1478, légua aux femmes des maisons et un jardin. Leur maison subsista jusqu'aux environs de 1570.