Hrad vznikl v souvislosti s vojenskou obranou panství na Žitavsku po smrti krále Přemysla Otakara II. Prvním držitelem hradu byl Jindřich z Lipé, později Vaňkové z Vartenberka a kolem roku 1400 přechází hrad do vlastnictví Hynka Berky z Dubé. Za husitských dob byl hrad nejprve na straně kališníků, to se však změnilo za Albrechta Berky z Dubé, který byl katolík a odpůrce husitského krále Jiřího z Poděbrad. Jiří z Poděbrad nestál stranou a dal v roce 1443 příkaz Tolštejn dobýt. Na konci 15. století přechází hrad do vlastnictví saských knížat. Významnou stopu v historii pak udělal Georg ze Schleinitz, který převzal panství na začátku 16. století. S jeho jménem je spojeno i založení města Jiřetína pod Jedlovou. Ovšem 16. století není vůči hradům příliš příznivé, končí doba aktivní činnosti hradů a s nástupem renesance získává šlechta i vyšší nároky na bydlení a začíná stavět zámecké areály. Tolštejn je již kolem roku 1607 pustý. Poslední majitel si postavil honosnější sídlo v sousedním Rumburku. Poslední tečku za zkázou hradu vykonala třicetiletý válka. Hrad obsadila císařská vojska, ale neubránily ho a švédský generál Wrangel hrad v roce 1642 vypálil. Tak skončilo slavné období tolštejnského panství.
Zájem o zříceninu hradu Tolštejn přineslo až období romantismu v 19. století. V roce 1865 si hrad pronajal Josef Münzberg, který zde vystavil hostinec ve švýcarském stylu. Výletní hostinec byl provozován až do roku 1977.
