La storia comincia nel 1713, quando Vienna, città residenza imperiale, fu colpita da quella che sarebbe stata l'ultima grande epidemia di peste a raggiungerla. In ottobre di quell'anno, l'imperatore Carlo VI si inginocchiò nella cattedrale di Santo Stefano e fece un voto: se la città fosse stata risparmiata, avrebbe costruito una chiesa dedicata al suo omonimo, Carlo Borromeo. Quel santo era anche noto come protettore contro la peste. L'epidemia si esaurì nel 1714 e l'imperatore mantenne la parola data. Indisse un concorso di architettura per la nuova chiesa. I lavori di costruzione iniziarono nel 1715 e la chiesa fu consacrata il 28 ottobre 1737 dal cardinale Sigismund Graf Kollonitsch. In tutto, la costruzione richiese 21 anni. I fondi arrivarono da molte mani. Contribuirono gli stati ereditari delle province e numerosi donatori privati, così come la Spagna, i Paesi Bassi, Milano, l'Italia e la Boemia. Fu una chiesa finanziata da una vasta rete imperiale, non da un solo sovrano. Il voto è ancora leggibile sull'edificio. Sotto il frontone principale, in lettere dorate, corre un versetto del Salmo 22, versetto 26: Vota mea reddam in conspectu timentium deum. Significa: «Adempirò i miei voti davanti a coloro che temono Dio». È il segno di una chiesa votiva.