Am 13. Juli 1678 wurde die Burg Ortenberg von französischen Truppen erobert und geschleift.
Noch bis um 1760 wurde sie aber teilweise noch zu hoheitlichen Zwecken, insbesondere als Verlies genutzt. Die Kanzleiräume waren zwischenzeitlich in Zivilgebäuden zu Füßen des Schlossberges untergebracht. Die ruinierte Burg verfiel daher weitgehend in einen Dornröschenschlaf.
Die ruinierte Burganlage gehörte zwischenzeitlich dem badischen Staat und wurde offiziell als "Steinbruch" genutzt. 1833 erwarb der livländischen Kaufmann und russische Staatsbürger Gabriel Leonhard von Berckholtz aus Riga das gesamte Areal und errichtete in den Jahren 1838 - 1843 das Schloss in der heutigen Form.
Heute ist hier eine der schönsten und romantischsten Jugendherbergen Deutschlands beheimatet. Die Turmanlagen sind der Öffentlichkeit zugänglich. Gruppenführungen durch die alten Gemäuer können gebucht werden.
Anselm Feuerbach, später einer der bedeutendsten deutschen Maler des 19. Jahrhunderts, schrieb 1842 schwärmerisch über Schloss Ortenberg: „… so großartig, so schön und prachtvoll stellte ich es mir nicht vor. Es liegt auf einer Anhöhe beim Dorf Ortenberg und hebt sich über alles hinaus. Die Lage ist schön, die Aussicht herrlich.“