Historia zamku Stolpen jest związana z tradycją słowiańską. W kronice praskiego kronikarza Kosmasa pierwsza wzmianka o nim pojawia się w 1121 roku. Na początku XIII wieku stał się majątkiem biskupów i Miśni. Już w 1241 roku ci biskupi uzyskali potwierdzenie swoich majątków w Łużycach (wśród nich był też Stolpen) od czeskiego króla Wacława. Tzw. Górnołużycki Akt Pograniczny, podpisany na Königsteinie, jest dziś uważany za pierwszą umowę pograniczną między Saksonią i Czechami.
Góra Stolpen jest zabytkiem przyrody. Nazwa Stolpen powstała od starosłowiańskiego słowa i oznacza „słup” (ze „stolp”, ew. „stolpno”). Regularne bazaltowe słupy góry Stolpen są pierwowzorem nazw innych formacji bazaltowych na całym świecie. „Na zamku Stolpen było w dawnych czasach czasem pusto. Jego szare mury mogłyby opowiadać o walkach, katuszach, cierpieniach, biedzie i śmierci wielu więźniów...,” jak mówi jedna z legend. Ale my nie musimy się bać, przeciwnie. Czeka na nas ciekawe zwiedzanie kompleksu zamkowego, któremu niepowtarzalną postać dali jego właściciele, biskupi i elektorzy: tragiczny los hrabiny Cosel, najbardziej znanej kochanki saksońskiego elektora Augusta Mocnego, ciemne podziemia, kręte piwniczne korytarze, sala tortur i wieża głodowa.
Wyjątkowym przeżyciem dla zwiedzających jest widok z wieży z siedmioma wieżyczkami, skąd widać aż do Czech. Zamek wsławiła już wspomniana hrabina Cosel, który w wieży zamkowej przeżyła uwięziona całych 49 lat, co jest w historii zamku najdłuższym pobytem. W wieży Johanna (Cosel) jest stała wystawa o jej pełnym przygód i fatalnym życiu. Jej grób znajduje się w kaplicy zamkowej.