Čas fevdalnega družbenega reda se je po pomladi narodov leta 1848 tudi na Dolenjskem dokončno iztekel in gradovi so postali le še priče neke čedalje bolj odmaknjene dobe.
Mnogi so pričeli propadati. Tudi najimenitnejši, kot npr. Hmeljnik ali Stari grad. Nekatere kot Ortnek, Žužemberk ali Luknjo pa so celo povsem opustili in jih nato načrtno razvalili. Tudi mirnski grad je bil precej zanemarjen. Številni prostori so postali odvečni. Tako so tik pred prvo svetovno vojno podrli mogočno spodnjo pristavo. Grad v tem obdobju ni bil več stalno naseljen, zanj so skrbeli upravniki. Kljub vsemu so opravljali najnujnejša vzdrževalna dela. Tako so tik pred pričetkom druge svetovne vojne v celoti obnovili strešno kritino in ostrešje gradu. Kazalo je, da bo grad vendarle preživel. Druga svetovna vojna je to upanje kmalu pokopala.
Za božič leta 1942 so partizani mirnski grad dali izprazniti in ga nato razstrelili ter požgali. Pri tem so minirali zahodno steno palacija. Sesula se je do temeljev. Grad je gorel več dni. Zrušile so se vse strehe in leseni stropi. Pokrita sta ostala le kašča in oglati stolp. Deloma pa se je ohranila tudi streha nad arkadnim hodnikom ob južni steni. Okoliški prebivalci so pred požigom raznesli dragoceni grajski inventar. Kljub veliki škodi pa je bilo zidovje gradu ob koncu vojne še razmeroma dobro ohranjeno in bi ga s postavitvijo nove strehe ter zahodne stene palacija lahko v celoti ohranili. Tako kot pri številnih drugih gradovih na Slovenskem, ki so v novih časih postali sporni tako iz nacionalističnih kakor iz ideoloških vidikov, se je seveda zgodilo drugače.
Že kmalu po končani vojni so pričeli okoliški prebivalci v želji po cenenem in enostavnem pridobivanju gradbenega materiala s podporo novih oblastnikov razvaline sistematično rušiti. Že leta 1945 so pobrali opečno kritino z ohranjenega oglatega stolpa in do kraja porušili ter odpeljali ostanke požganega spodnjega hleva. Spomladi 1946 je grad obiskal in opisal konservator prof. dr. France Stele. Arkadni hodniki so bili tedaj že porušeni, ostalo zidovje pa je večinoma še stalo. Na severni strani je bilo deloma že spodkopano. Z izjemo zahodne stene je bilo v celoti ohranjeno tudi še zidovje palacija s šilastoločnimi gotskimi portali v pritličju. Ohranjeno je bilo tudi zidovje grajske kapele, na oglatem stolpu pa je še stalo razkrito leseno ostrešje. Na sklepniku tedaj še povsem ohranjenega poznorenesančnega zahodnega glavnega portala je Stele razbral napis IHS-MRA, G. A. D. E., 1646. Nekako sočasno je nastala tudi fotografija severnega medzidja: mogočni kamniti mostovž med palacijem in obzidjem je še stal, prav tako severno obzidje, arkadni hodniki ob severnem in vzhodnem, najbrž pa tudi ob zahodnem obzidju, pa so bili že povsem porušeni.
V mesecu avgustu in septembru 1947 je skupina študentov umetnostne zgodovine in arhitekture z Univerze v Ljubljani pod vodstvom konservatorjev Cirila Velepiča in Ivana Komelja pregledala 12 najpomembnejših med vojno porušenih dolenjskih gradov. Na vseh so izmerili tlorise, jih opisali, fotografirali, prerisali značilne detajle in skušali ugotoviti temeljne zakonitosti njihovega stavbnega razvoja. Za zaključek so podali še predloge za njihovo nadaljnjo usodo: odstranitev, ohranitev v obliki razvalin, obnova. Za mirnski grad so predlagali, da se ruševine ohranijo kot pomemben krajinski poudarek. Takrat posneti talni načrt in fotografije konservatorja Cirila Velepiča kažejo, da so razvaline v primerjavi s stanjem iz leta 1946 sistematično rušili naprej. Zidovi palacija so večinoma še stali, podrta je bila zahodna in dobra polovica južne stene. V notranjščini so se večinoma sesuli opečni oboki. Gotski portali v pritličju so bili že skoraj v celoti zasuti. Zunanje obodno zidovje je bilo že močno načeto. Kašča in južno obzidje z delom arkadnih hodnikov sta bila še pokrita in v celoti ohranjena. Okrogli stolp je bil nezastrešen, vrhovi sten so se že pričeli razkrajati. Vzhodno obzidje s kapelo je bilo razkrito, a ohranjeno še do prvotne višine, edino arkadni hodniki so bili podrti do tal. Na razkritem oglatem stolpu je bilo še v celoti ohranjeno leseno ostrešje. Pač pa so med letoma 1946 in 1947 do temeljev porušili severno obzidje z kamnitim mostovžem vred. Zahodno obzidje z glavnim portalom je bilo še v celoti ohranjeno.
Na predlog študijske skupine, da se tedaj še razmeroma dobro ohranjena razvalina kot pomemben kulturni spomenik in vedutna značilnost ohrani, ni bilo nobenega odziva. Tako lahko v reviji Varstvo spomenikov leta 1950 beremo: »Mirna. Med vojno požgani grad je bil kasneje miniran. Letos so pričeli ponovno rušiti ostanke gradu in odvažati material. Zavod se je pri krajevnih faktorjih zavzel za ohranitev razvaline.« Konservator Ivan Komelj v svoji leta 1951 objavljeni študiji o srednjeveški grajski arhitekturi na Dolenjskem poroča, da grad rapidno propada. Še isto leto v reviji Varstvo spomenikov ugotavlja, da pri gradovih Klevež, Mokronog in Mirna ne gre več računati na uspešno zavarovanje razvalin in da bi jih kazalo zavarovati šele potem, ko bi bili zavarovani ostali pomembnejši med vojno porušeni dolenjski gradovi. V isti številki revije lahko preberemo še krajši zapis: »Mirna. Grad, ki je bil eden naših najbolj zanimivih srednjeveških gradov, se po uničenju v zadnji vojni spreminja v brezoblično ruševino, ker kljub posebni prepovedi njegove dele rušijo in uporabljajo za gradbeni material.« Leta 1952 je Ivan Komelj grad ponovno obiskal in posnel nekaj dokumentarnih fotografij, iz katerih lahko razbiramo tedanje stanje. To se je v primerjavi s fotografijami iz leta 1947 občutno poslabšalo. Od zidov palacija sta poleg povsem zasutega pritličja ostala le jugovzhodni vogal in del notranje stene. Kaščo in južno obzidje so razkrili, podrli so arkade ob južni strani, do temeljev so podrli okrogli stolp. Do tal so podrli tudi vso zunanje obodno zidovje na vzhodni, severni in zahodni strani z obema glavnima portaloma in grajsko kapelo vred. Ostal pa je oglati stolp, kajpak že brez ostrešja, ki se je medtem sesedlo. Glavni portal na zahodni strani so z zidom vred podrli kmalu po letu 1947. Nekaj kamnoseško obdelanih kosov so uporabili pri gradnji bližnjega zadružnega doma na Rojah. V grušču pa se je ohranil del levega podboja, kapitel in spodnji železni vratni tečaj. Kamnoseško obdelane stebriče arkadnih hodnikov so razvlekli na vse strani. Nekaj so jih celo uporabili pri obnovi gradu Otočec. Z grajskim gradivom so obnovili in zgradili več hiš v okolici, zlasti v Slovenski vasi. Nek bližnji kmet se je ponašal, da je v temelje svoje nove hiše vzidal celo vrsto arkadnih stebrov in konzol. 50-a leta so bila pač čas, ko niso sistematično rušili samo ostankov med vojno požganih grajskih stavb, ampak so zavestno uničevali tudi povsem ohranjene. Takšno usodo je denimo doživel bližnji dvorec Lanšprež, ki so ga leta 1953 razkrili in nato porušili do tal.
Po letu 1952 so razvaline mirnskega gradu rušili le še občasno, saj skoraj ni bilo več zidov, iz katerih bi z malo truda lahko še pridobili uporaben gradbeni material. Nekako do leta 1955, ko je razvaline gradu ponovno obiskal konservator Ivan Komelj, se je nekomu zdelo potrebno minirati še dobro ohranjeno južno obrambno obzidje. Zrušil se je njegov osrednji del med kaščo in nekdanjim okroglim stolpom. Tako so od nekdanje mogočne celote ostali le razkrita kašča in oglati stolp, del južnega obzidja in povsem zasuto pritličje palacija, iznad katerega se je vzdigovalo nekaj propadajočih zidnih škrbin. Razvaline, ki so se medtem pričele nezadržno zaraščati, so poslednjič minirali leta 1961.
Od nekdanjega grajskega kompleksa, enega najbolj slikovitih na Slovenskem pred drugo svetovno vojno, so na začetku 60. let ostali le fragmenti. Zaradi njihove skromnosti in težkih poškodb jih je iz svoje evidence kulturne dediščine izbrisala celo spomeniška služba. Od palacija se je poleg povsem zasutega pritličja do prvotne višine ohranil le jugovzhodni vogal z gotsko plastovito zidavo in ostanki renesančnih okenskih odprtin. Ohranil se je tudi del notranje stene s pričevalnim stikom romanske in gotske stavbne faze ter ostanki vratnih odprtin in stropnih konstrukcij. Sicer skromni ostanki so nudili nekaj ključnih podatkov o nekdanji podobi celote. Od zunanjega obodnega zidovja so se z izjemo dela južne stene ohranili le zasuti temelji. Odveč je poudarjati, da z izjemo nekaj kamnitih konzol na oglatem stolpu in kašči ni bilo ohranjenih tudi nobenih sledov nekdanjih arkadnih hodnikov. Zidovje oglatega stolpa je bilo ohranjeno do prvotne višine, zrušile pa so se vse obokane stropne konstrukcije, naglo so se sesipale tudi okenske in vratne odprtine ter zgornji deli razgaljenega zidovja. Podobno je bilo z ostanki nekdanje kašče, kjer so se po razkritju zrušile vse lesene stropne konstrukcije, razpadati pa so začele tudi okenske in vratne preklade v vrhnjem nadstropju. Ostanki zidov so tudi zaradi vremenskih vplivov naglo propadali. Okoli leta 1965 se je zrušil del jugovzhodnega vogala palacija z nekaj izjemno pričevalnimi okenskimi odprtinami. Okoli leta 1980 pa se je zrušil tudi velik del ohranjene zunanje južne obodne stene tik nekdanjega okroglega stolpa. Od te stene je tako poleg temeljnih zidov ostal le še skromen fragment, ki pa je ohranil podatke o višinah nekdanjega arkadnega hodnika.
Ostanki gradu so bili torej v obup zbujajočem stanju. Spričo mnogih bolje ohranjenih razvalin med vojno požganih grajskih stavb ni bilo nobenega upanja, da bi jih kdajkoli na kakršenkoli način še mogli obnoviti. Zdelo se je, enako kot na bližnjih Klevevžu, Mokronogu ali Rakovniku, da bodo zidovi kmalu docela propadli, ruševinska groblja pa se bo dokončno zarasla.
Sestavek povzema besedilo iz dela Igorja Sapača Obnova mirnskega gradu, 2004.