Molto prima che i francescani vivessero qui, questo luogo apparteneva a un diverso tipo di comunità religiosa: una casa di donne penitenti, il Büsserinnenhaus, fondata nel 1383. Nel novembre 1384 il suo amministratore, Konrad Schneider — uno dei più energici sostenitori della fondazione — acquistò una casa appartenente a Heinrich von Pottendorf, situata tra la Singerstrasse e la Weihburggasse. Quella casa era stata a sua volta costruita sul sito di due edifici più antichi, e egli pagò circa novantatré libbre di pfennig viennesi per essa dai fondi della fondazione. Le donne, che fino ad allora erano state alloggiate nella Kumpfgasse, si trasferirono qui. Nel 1387 una cappella dedicata a San Girolamo era stata costruita e consacrata dal vescovo titolare di Castoria. È lì che il nome di questa chiesa è nato, più di sei secoli fa. La comunità non rimase ferma. Fu ricostruita nel XV secolo, con un nuovo dormitorio nel 1455, e nel 1467 lo speziale Ulrich Vogler supervisionò i lavori di costruzione. In quello stesso anno una chiesa di nuova costruzione — un'estensione della cappella di Girolamo, pagata in gran parte dalla fondazione del sindaco Konrad Hölzler il Giovane — fu consacrata dal vescovo Alberto di Passau. Devozione e denaro andavano di pari passo qui. Tra il 1387 e il 1511 i possedimenti della comunità includevano un bagno pubblico chiamato Perliebin, e Hölzler, morto nel 1478, lasciò alle donne case e un giardino. La loro casa sopravvisse fino al 1570 circa.