Hrad byl za třicetileté války neúspěšně obléhán Švédy. Z císařského rozkazu byl hrad roku 1658 zbořen, aby nemohl padnout do rukou nepřátelských vojsk, ale již předtím byl údajně velmi zpustlý a opuštěný. I když už tehdy byly zříceniny hradu značně narušeny, k největší zkáze došlo až v 19. století rozšířením čedičového lomu.
Zajímavé je i nedaleké poutní místo Loreta s barokní kaplí na Velišském hřbetu.
