Abt Kuno von Siegburg hatte den Grafen Erlof von Sternberg als Advokatum, jedoch nur temporaliter nicht aber häreditarie berufen. Die Hochzeit der Grafen von Sternberg reichte bis an den Pardelsbach. Von dort erstreckte sich die Hoheit der Grafen von Sponheim, die sich über Oberhirzenach ausdehnte und wozu auch Karbach gehörte. Das Vogteianteil der Grafen von Sternberg ging später auf Kurtrier und das der Grafen von Sponheim auf Kurpfalz über nebst dem Schloss zu Ehrenberg, dann an verschiedene adelige Familien, so von Elz, von Quadt und zuletzt von Klodt über. Die Belehnung des Grafen von Klodt geschah 1866 durch Philipp Wilhelm Pfalzgraf bei Rhein. Es waren die Brüder Giesberth von Klodt und Dietrich Daniel von Klodt, die ihre erste Belehnung empfingen. Die Propstei wurde geschützt, und ihre Güter unangetastet bis zum Jahre 1705 und 1706, in welchem Jahre unter dem Propsten von Hoen ein gewisser Damia von Klodt anfing, die ersten Eingriffe gegen die Propstei in ihren hinter der Propstei anstoßenden, bis nach Karbach, also über eine Stunde Weges sich ausdehnenden Waldungen zu wagen. Die Übergriffe wurden immer schlimmer trotz Einspruches des Propstes, wenn sie auch zeitweilig unterblieben. 1709 maßte er sich sogar die Jagd an. Der daraus sich entwickelnde Prozess dauerte bis 1772 und wurde in diesem Jahr endlich vom Kurpfälzischen Allelationsgericht zu Gunsten der Propstei entschieden. Nur die Vogteigewalt wurde ihm zugesprochen, sonst nichts. Der Propst ist Landesfürstliche Obrigkeit, Grund- und Eigentumsherr. Ihm sollte die Huldigung durch Handschlag geleistet werden. Im Jahre 1796 wurde die Propstei von den Franzosen besetzt, und das Propsteigebäude wurde Sitz der Kommandanten. Außerdem bezogen noch zwei Gendarmen mit Familie Wohnung dort. Der Propst Emmerich von Quandt konnte vorläufig dort wohnen bleiben, wurde aber auf alle mögliche Art drangsaliert. Es wurde ihm schließlich nicht einmal gestattet, mit dem Abt von Siegburg, seinem geistlichen Obern, in Briefverkehr zu bleiben. 1799 wurde er vertrieben. In dieser Zeit wurde auch der Kreuzgang, über dem sich die Klausur, die Wohnung der Mönche befand, niedergelegt. Diese Arbeit ließen die Franzosen so gründlich besorgen, dass heute nichts hiervon übrig ist. Auch fast alle Kunstwerke verschwanden damals aus der Kirche. Nur einige Überbleibsel beherbergt sie jetzt noch. Die wunderbaren Chorfenster wurden nach Paris in den Louvre gebracht. 1808 wurde die Trennung des Pfarrwitthurms von den Propsteigütern vorgenommen. Die Propstei war also damit aufgehoben. Dem Propst Emmerich von Quandt wurde die Erlaubnis zur Rückkehr gegeben. Er wurde erster Pfarrer von Hirzenach und starb als solcher 1811.

Die ehemaligen Klostergebäude stehen nur noch zum Teil. Das älteste unter ihnen ist die frühere Bartholomäuskapelle, die so genannte Cell, die jetzt Eigentum der Pfarrkirche ist und als Wohnung benutzt wird. Nach Erbauung der Kirche war sie Taufkapelle. Die nebenstehende frühere Klosterkirche, die jetzige Pfarrkirche, zeigt deutlich zwei Bauperioden. Der ältere Teil ist frühromanisch. Um 1300 wurde das Chor erbaut. An Kunstwerken weist sie, wie gesagt, nur mehr sehr wenig auf. In einer späteren Veröffentlichung soll hierüber noch des näheren berichtet werden. Östlich von ihr steht das jetzige Pfarrhaus, das frühere Wohnhaus des Propstes. Es ist massiver Bau mit einem schönen Saal im Erdgeschoss. An einem Berghang sehen wir die alte Klostermühle, die als Remise und Heuspeicher ein beschauliches Dasein führt. Dieses Gebäude in ihrer Gesamtheit bieten sich dem Reisenden als einzigartiges Idyll inmitten des niedlichen Rheindörfchens dar.