Razvaline gradu stojijo na skalni pečini nad reko Krko kot osrednja dominanta naselja Žužemberk.
Grad Žužemberk je ne glede na to, da je danes razvalina, lep primer raščene grajske arhitekture od 13. do 18. stoletja s poudarjeno višinsko dominanto po koncu druge svetovne vojne zrušenega osrednjega stolpa in renesančnim obzidnim obročem z vencem stolpov in bastij. Dokler je bilo še ohranjeno v osnovi srednjeveško grajsko jedro, je stavbna zasnova poudarjala kopičenje stavbnih mas, ki so se stikale v slokem poznoromanskem stolpu.
Pri gradnji gradu so se morali stavbeniki tako v dobi romanike kot pri vseh kasnejših dozidavah prilagajati terenu, ki je padal od trga proti strmi prepadni steni. Najstarejšo stavbno fazo gradu datiramo v čas 1. polovice 13. stol., ko so na kamniti terasi tik ob robu strme stene zgradili dvonadstropni romanski palacij z manjšim dvoriščem, ki ga je na severni strani varoval visok obrambni zid. Grad je bil proti trgu tudi ustrezno zavarovan z obrambnim jarkom. Predvidevamo, da so konec 13. stoletja v sklopu 2. romanske stavbne faze ob vzhodnem obrambnem zidu dozidali nov palacij ter na severni obrambni zid prislonili višinsko poudarjen stolp. Grad je tako dobil tloris črke »L«, s pozidavo novega trakta pa se je nekoliko zmanjšal obseg notranjega dvorišča. Iz obeh romanskih faz je ohranjenih precej zidov, ki kažejo za tisti čas značilno gradnjo izhorizontalno plastenihkamnitih kvadrov, ohranilo pa se je tudi kar nekaj romanskih lin.
V 15. stoletju so ob zahodnem obodnem zidu zgradili nov stanovanjski trakt, katerega obodni zidovi so se ohranili do danes, nekoč prostrano dvorišče pa se je omejilo zgolj na svetlobni jašek za dovod svetlobe v prostore gradu, na njem pa se je ohranila tudi cisterna za vodo. Večji gradbeni posegi v gradu so se izvršili po letu 1538, ko ga je cesar Ferdinand prodal bratoma Juriju in Volfu Engelbertu Auerspergoma. Tedaj so zgradili zunanje renesančno obzidje z obrambnimi stolpi, v grajskem jedru pa nova stanovanjska trakta med vzhodnim obodnim zidom srednjeveškega jedra in stolpom št. 7 ter severnim obrambnim zidom in novim renesančnim dvoriščem. Tu so skopali nov obrambni jarek ter prestavili vhod v grajsko jedro v omenjeni vzhodni renesančni stanovanjski trakt. Obrambni jarek so skopali tudi ob zunanjem renesančnem obzidju in ga na zunanji strani dodatno utrdili z zidom. Severovzhodno od gradu so v sklopu zunanjega zidu obrambnega jarka sezidali dodatni obrambni stolp. Po požaru leta 1591, ko je skupaj s trgom pogorel tudi grad, so slednjega prezidali v poznorenesančno rezidenco. Tedaj so na zahodni strani dvorišča zgradili gospodarsko poslopje, verjetno kaščo, od katerega se je ohranila le klet, za eno nadstropje so povišali obzidje in stolpe ter sezidali arkadne hodnike. V času baroka v 18. stoletju so zazidali arkadne loke v drugem nadstropju, zunanji obrambni jarek so delno zasuli in spremenili v terasast vrt, odstranili so zunanji severovzhodni stolp ter uredili grajski park na severovzhodnem robu trga.
Pri gradnji gradu so se morali stavbeniki tako v dobi romanike kot pri vseh kasnejših dozidavah prilagajati terenu, ki je padal od trga proti strmi prepadni steni. Najstarejšo stavbno fazo gradu datiramo v čas 1. polovice 13. stol., ko so na kamniti terasi tik ob robu strme stene zgradili dvonadstropni romanski palacij z manjšim dvoriščem, ki ga je na severni strani varoval visok obrambni zid. Grad je bil proti trgu tudi ustrezno zavarovan z obrambnim jarkom. Predvidevamo, da so konec 13. stoletja v sklopu 2. romanske stavbne faze ob vzhodnem obrambnem zidu dozidali nov palacij ter na severni obrambni zid prislonili višinsko poudarjen stolp. Grad je tako dobil tloris črke »L«, s pozidavo novega trakta pa se je nekoliko zmanjšal obseg notranjega dvorišča. Iz obeh romanskih faz je ohranjenih precej zidov, ki kažejo za tisti čas značilno gradnjo izhorizontalno plastenihkamnitih kvadrov, ohranilo pa se je tudi kar nekaj romanskih lin.
V 15. stoletju so ob zahodnem obodnem zidu zgradili nov stanovanjski trakt, katerega obodni zidovi so se ohranili do danes, nekoč prostrano dvorišče pa se je omejilo zgolj na svetlobni jašek za dovod svetlobe v prostore gradu, na njem pa se je ohranila tudi cisterna za vodo. Večji gradbeni posegi v gradu so se izvršili po letu 1538, ko ga je cesar Ferdinand prodal bratoma Juriju in Volfu Engelbertu Auerspergoma. Tedaj so zgradili zunanje renesančno obzidje z obrambnimi stolpi, v grajskem jedru pa nova stanovanjska trakta med vzhodnim obodnim zidom srednjeveškega jedra in stolpom št. 7 ter severnim obrambnim zidom in novim renesančnim dvoriščem. Tu so skopali nov obrambni jarek ter prestavili vhod v grajsko jedro v omenjeni vzhodni renesančni stanovanjski trakt. Obrambni jarek so skopali tudi ob zunanjem renesančnem obzidju in ga na zunanji strani dodatno utrdili z zidom. Severovzhodno od gradu so v sklopu zunanjega zidu obrambnega jarka sezidali dodatni obrambni stolp. Po požaru leta 1591, ko je skupaj s trgom pogorel tudi grad, so slednjega prezidali v poznorenesančno rezidenco. Tedaj so na zahodni strani dvorišča zgradili gospodarsko poslopje, verjetno kaščo, od katerega se je ohranila le klet, za eno nadstropje so povišali obzidje in stolpe ter sezidali arkadne hodnike. V času baroka v 18. stoletju so zazidali arkadne loke v drugem nadstropju, zunanji obrambni jarek so delno zasuli in spremenili v terasast vrt, odstranili so zunanji severovzhodni stolp ter uredili grajski park na severovzhodnem robu trga.
