Grad je bil prvič omenjen v 13. stoletju.
Grad Žužemberk je prvič omenjen leta 1246 v listini goriškega grofa Majnharda III., ponovno pa leta 1295, ko ga je Henrik iz Lupoglave v Istri prodal goriškemu grofu Albertu II., ki je ustanovil novo žužemberško gospostvo. Oglejski patriarh Gregor de Montelongo je l. 1264 med drugim podelil goriškemu ministerialu Henriku iz Pazina tudi tri kmetije z mlini in desetinami ob zgornjem toku reke Krke. Leta 1269 je Henrik iz Pazina s svojim zetom Otonom iz bližnjega gradu Šumberk glede gradu Žužemberk sklenil dogovor, po katerem je Žužemberk prišel v njegovo upravljanje.
Grad v Žužemberku je bil namreč sezidan na območju gradu Šumberk, ki ga je v imenu goriških grofov upravljal omenjeni Oton (1253 – 1270). Ker je grad stal na goriških tleh, je mogoče sklepati, da ga je z dovoljenjem goriških grofov pozidal prav omenjeni Oton. Gospostvo Žužemberk se je sčasoma osamosvojilo, že l. 1324 pa se v kraju omenja deželno sodišče.
Grad v Žužemberku je bil namreč sezidan na območju gradu Šumberk, ki ga je v imenu goriških grofov upravljal omenjeni Oton (1253 – 1270). Ker je grad stal na goriških tleh, je mogoče sklepati, da ga je z dovoljenjem goriških grofov pozidal prav omenjeni Oton. Gospostvo Žužemberk se je sčasoma osamosvojilo, že l. 1324 pa se v kraju omenja deželno sodišče.
V prvi pol. 14. stol. se v zgornji dolini Krke in na gradu Žužemberk močno poveča vpliv Turjačanov, ki so bili tesno povezani z goriškimi grofi in njihovo posestjo v Slovenski marki in Beli krajini. Herbert Turjaški je bil poročen z dvorno damo goriške grofice Beatrikse. Slednja mu je leta 1324 za njeno jutrnjo podarila številno posest v žužemberškem deželnem sodišču, njegovo premoženje pa se je kasneje še povečalo za poplačilo vojne škode, ki jo je utrpel v njeni službi v bojih z oglejskim patriarhom. Med drugim se omenjata tudi dva mlina, ki mu jih je prepustila za »stražarje in vratarje« v Žužemberku, po čemer lahko sklepamo, da je imel Herbert svojo posadko tudi v gradu Žužemberk.
Leta 1338 je mladi goriški grof Ivan Henrik podaril Žužemberk skupaj z ostalo svojo posestjo, ki jo je imel v Slovenki marki, Beli krajini in na Koroškem, za jutrnjo svoji ženi Ani, hčerki nemškega kralja Friderika Lepega. Grof je še istega leta umrl in njegovim bratrancem, goriškim grofom Albertu, Majnhardu in Henriku je uspelo, da so najprej ponovno pridobili posest pokojnega, po kateri so želje kazali tudi Habsburžani, nato pa so si celotno goriško dediščino razdelili med seboj. Albertu IV. je pripadla vsa goriška posest v Istri in Slovenski marki, znotraj katere je bil tudi Žužemberk.
Na podlagi dedne pogodbe, ki jo je leta 1364 sklenil z goriškim grofom Albertom IV. koroški vojvoda Rudolf IV., so Habsburžani leta 1374 dedovali goriška posestva v Istri in na Dolenjskem, med drugim tudi gospostvo Žužemberk. Deželnoknežja komorna posest je bil Žužemberk do leta 1538, ko ga je cesar Ferdinand prodal bratoma Juriju in Volfu Engelbertu Auerspergoma. Knez Janez Vajkard Auersperg je leta 1677 ustanovil primogeniturni fidejkomis, obsegajoč gospostva Belaj, Kočevje, Poljane, Višnjo Goro, Žužemberk ter knežji dvorec v Ljubljani. Auerspergi so v gradu prenehali bivati leta 1818, ko je po smrti kneza Karla I. fidejkomisno premoženje pripadlo knezu Viljemu I. Auerspergu, ki pa je že leta 1793 kupil od grofa Kajetana Lichtenberga bližnji dvorec Soteska. V 19. stoletju je bilo v gradu okrajno sodišče, po njegovi preselitvi v nove prostore na trgu leta 1893 pa je grad pričel vidno propadati. Soteški Auerspergi so ostali lastniki žužemberškega gradu vse do druge svetovne vojne, v kateri je utrpel hude poškodbe. Po vojni je bil grad kot ljudska imovina dodeljen tedanji Občini Žužemberk in po njeni ukinitvi leta 1961 občini Novo mesto, vendar je nad njim in njegovo obnovo bdela tedanja Krajevna skupnost Žužemberk. Občina Žužemberk je bila ponovno ustanovljena leta 1998, po razdelitvi premoženja z Mestno občino Novo mesto pa je v njeno last prešel tudi grad.
Leta 1338 je mladi goriški grof Ivan Henrik podaril Žužemberk skupaj z ostalo svojo posestjo, ki jo je imel v Slovenki marki, Beli krajini in na Koroškem, za jutrnjo svoji ženi Ani, hčerki nemškega kralja Friderika Lepega. Grof je še istega leta umrl in njegovim bratrancem, goriškim grofom Albertu, Majnhardu in Henriku je uspelo, da so najprej ponovno pridobili posest pokojnega, po kateri so želje kazali tudi Habsburžani, nato pa so si celotno goriško dediščino razdelili med seboj. Albertu IV. je pripadla vsa goriška posest v Istri in Slovenski marki, znotraj katere je bil tudi Žužemberk.
Na podlagi dedne pogodbe, ki jo je leta 1364 sklenil z goriškim grofom Albertom IV. koroški vojvoda Rudolf IV., so Habsburžani leta 1374 dedovali goriška posestva v Istri in na Dolenjskem, med drugim tudi gospostvo Žužemberk. Deželnoknežja komorna posest je bil Žužemberk do leta 1538, ko ga je cesar Ferdinand prodal bratoma Juriju in Volfu Engelbertu Auerspergoma. Knez Janez Vajkard Auersperg je leta 1677 ustanovil primogeniturni fidejkomis, obsegajoč gospostva Belaj, Kočevje, Poljane, Višnjo Goro, Žužemberk ter knežji dvorec v Ljubljani. Auerspergi so v gradu prenehali bivati leta 1818, ko je po smrti kneza Karla I. fidejkomisno premoženje pripadlo knezu Viljemu I. Auerspergu, ki pa je že leta 1793 kupil od grofa Kajetana Lichtenberga bližnji dvorec Soteska. V 19. stoletju je bilo v gradu okrajno sodišče, po njegovi preselitvi v nove prostore na trgu leta 1893 pa je grad pričel vidno propadati. Soteški Auerspergi so ostali lastniki žužemberškega gradu vse do druge svetovne vojne, v kateri je utrpel hude poškodbe. Po vojni je bil grad kot ljudska imovina dodeljen tedanji Občini Žužemberk in po njeni ukinitvi leta 1961 občini Novo mesto, vendar je nad njim in njegovo obnovo bdela tedanja Krajevna skupnost Žužemberk. Občina Žužemberk je bila ponovno ustanovljena leta 1998, po razdelitvi premoženja z Mestno občino Novo mesto pa je v njeno last prešel tudi grad.
