Stavbni razvoj gradu je potekal po fazah.
1. faza: visoka utrjena hiša, druga polovica 11. stoletja
Enkrat v drugi polovici 11. stoletja so na strmi vzpetini na živi skali, na talni ploskvi v izmeri 12,5 × 8,5 m, pozidali stanovanjsko-obrambni stolp, ki se v virih omenja kot castrum. Poleg pritličja je že od vsega začetka obsegal še tri nadstropja. Med seboj so bile predeljene z ravnimi lesenimi stropi, ki so počivali na mogočnih tramovih. Poleg zasutega pritličja se je do prvotne višine ohranila le še njegova vzhodna stena z jugovzhodnim vogalom. Stolp je sprva stal prosto in se nanj ni navezovalo drugo zidovje ali morebitno obzidje dvorišča. Prvotni romanski arhitekturni členi se niso ohranili, izjema je edino ostenje prvotnega vhoda v pritličju severne stene, do katerega je vodila pot čez izravnan skalnat teren.
Morda sočasno, bolj verjetno pa nekaj desetletij za visoko utrjeno hišo so pozidali tudi grajsko kapelo na ploščadi v pobočju vzpetine pod gradom.
2. faza: pozidava izpostavljenega stolpa
V listini iz leta 1337 sta se »Henrik III. s Planine in Herman Mindorfer odpovedala posesti…Prvi se je odpovedal četrtini stolpa na Mirni (turris in Naydek), zemljišču na hribu in dvoru, drugi zemljišču na mirnskem hribu in dvoru na Mirni.« Beseda turris potrjuje obstoj samostojnega stolpa, ki je stal pod romansko stolpasto hišo.
Naravne danosti so onemogočile, da bi stolp pozidali na višini nad grajskim jedrom, od koder bi lahko obvladoval dogajanje pod seboj. Mirnski izpostavljeni stolp so pozidali pod grajskim jedrom in ga pomaknili v pobočje hriba. Vsekakor pa je primarna naloga ostala ista, to je izpostavljena prednja utrdba, ki varuje kompleks z najbolj ranljive točke in preprečuje neposreden dostop do osrednje grajske stavbe.
Ob nadrobnem ogledu zunanjščine opazimo več visokih in ozkih lin v kleti, pritličju in prvem nadstropju. Line so na južni strani obrnjene tudi na notranjo stran obzidja, ki jih deloma celo prekriva. Stolp je torej zgodnejši od protiturškega obzidja in je prvotno stal samostojno. V vrhnji etaži opazimo deloma zazidane, a še dobro razvidne cine. Pričevalno je tudi izjemno visoko, banjasto obokano prvo nadstropje, ki s svojimi nivoji in zazidanimi linami kaže, da so stolp v 17. stoletju preetažirali, tako da je nastala nova etaža na mestu prejšnjih dveh. Stolp je sprva obsegal pet etaž, ki so bile med seboj predeljene z ravnimi lesenimi stropi. V opisani obliki se nam stolp kaže kot tipičen primer izpostavljenega stolpa – propugnacula, pozidanega še v romanski tradiciji, a že ob poznavanju in upoštevanju novih gotskih usmeritev, na kar kažejo predvsem njegovi tanki zidovi in način zidave. Okvirno ga lahko datiramo v drugo polovico 13. ali na začetek 14. stoletja.
3. faza: visokogotske prezidave, gradbena dejavnost celjskih grofov, začetek 15. stoletja
Romanska visoka utrjena hiša je v tej fazi z obsežnimi prezidavami in dozidavami doživela temeljito preobrazbo v reprezentančno dvonadstropno poznogotsko stanovanjsko zgradbo z enotno oblikovano zunanjostjo in močno razčlenjeno notranjostjo. Romansko stolpasto zgradbo so pri tem znižali za vrhnje nadstropje in jo na južni ter vzhodni strani obzidali z novimi stavbnimi sestavinami. Prostornino so tako za trikrat povečali.
Zunanjost novega palacija je bila oblikovana kot mogočen kompakten kvader, kjer se je nivo pritličja dvigoval 4 metre nad nivo dvorišča. To je bilo v tej fazi še neizravnano. Zidove so pozidali iz klesancev, pri čemer je še občutna romanska tradicija plastenja. Klub temu se gotska zidava od starejših romanskih zidov loči že na prvi pogled. Stavbo je pokrivala visoka štirikapna streha. Okna so bila v obeh vrhnjih nadstropjih opremljena z velikimi bogato profiliranimi okviri s kamnitimi križi, na notranji strani pa so imela v širokih nišah zidane obokenske klopi.
V notranjosti zgradbe so etaže predeljevali leseni stropi, ki so sloneli na deloma še ohranjenih preprostih kamnitih konzolah, leseno pa je bilo sprva najbrž tudi stopnišče, ki so ga v 17. stoletju nadomestili z zidanim. Ohranili so se trije poznogotski šilastoločni portali z na ajdovo zrno posnetimi robovi. Dva portala so ob prezidavah v 17. stoletju sekundarno vzidali v poznorenesančni zid, kar kaže, da je bila notranjščina kasneje deležna precejšnjih sprememb. Najbrž so bili nekateri notranji predelni zidovi sprva leseni ali grajeni v značilni srednjeveški predalčni gradnji. Potrebno je omeniti še manjši prostor sredi južne polovice pritličja, kjer se je ohranil kamniti banjasti obok. Prostor je bil sprva kvadraten, ob prezidavah v 17. stoletju pa so ga podaljšali proti severu. Podaljšek oboka je zgrajen iz opeke. V obeh južnih vogalih prostora so razvidne sledi odbitih konzol, ki so očitno sprva nosile kamnita obočna rebra. V vzhodni steni pa je nekaj nad sedanjo hodno površino razvidna sled nekega zazidanega gotskega portala. Morda je bila v tem prostoru urejena notranja grajska kapela, ki je bila zaradi skromne površine namenjena le grajski družini.
Med odkritimi fragmenti, ki so vsi iz peščenjaka, opazimo dve obliki profilacije. Na enem fragmentu okenskega ostenja so profili močno žlebljeni in kažejo še na prisotnost romanske tradicije. Ta fragment lahko okvirno datiramo v drugo polovico 13. ali na začetek 14. stoletja. Pri vseh ostalih fragmentih gotskih okenskih okvirjev s sledovi kamnitih križev pa nastopa enaka drobna paličasta profilacija. Na enem fragmentu okenskega okvirja in na šilastoločnem portalu s profiliranim ostenjem v pritličju palacija so se ohranili trije med seboj identični kamnoseški znaki kot v pleterski samostanski cerkvi, bližnji cerkvi v Šentrupertu in na okoli leta 1410 dokončani cerkvi na Ptujski gori. Precejšnje število ohranjenih bogato profiliranih fragmentov okenskih ostenij iz tega obdobja priča, da so prvotno romansko visoko hišo šele na začetku 15. stoletja prezidali in razširili v visokogotski palacij, in ne morda že okoli leta 1300. Fragment omenjenega starejšega okenskega ostenja pa morda izvira iz tedaj prenovljene romanske visoke hiše ali iz izpostavljenega stolpa pod grajskim jedrom.
4. faza: protiturško utrjevanje, prva polovica 16. stoletja
Mirnski grad je v času mrzlične gradnje novih obrambnih naprav dobil nov utrdbeni obroč, ki je obkrožil grajsko jedro, vanj pa so vključili tudi zgodnjegotski izpostavljeni stolp. Da je to obzidje nastalo celo stoletje za visokogotsko povečavo grajskega jedra, priča njegova zidava, ki je precej tanjša in manj kvalitetna, iz grobo obklesanih lomljencev, z uporabo drobirja in brez težnje po plastenju.
Obzidje je segalo v višino dveh etaž in je bilo na notranji strani opremljeno z lesenim hodnikom, na zunanji strani je bilo v višini prvega nadstropja opremljeno z majhnimi pravokotnimi strelnimi linami. Vhod je bil na severovzhodnem vogalu, na mestu kasnejšega poznorenesančnega portala, južna stran pa je bila okrepljena z dvema stolpoma. Jugozahodni vogal so zavarovali s polkrožnim stolpom, ki je bil na notranji strani sprva odprt. V jugovzhodni vogal obzidja so vključili zgodnjegotski izpostavljeni stolp – propugnacul, ki je tako do neke mere izgubil svoj prvotni pomen in značaj, saj je postal člen protiturškega obzidja.
Malo za utrdbenim obročem okrog jedra so ob vznožju grajske vzpetine pozidali še utrjeno pristavo in jo povezali z ostalimi deli grajskega kompleksa. Še danes ohranjena pravokotna nadstropna stavba je na jugozahodnem vogalu okrepljena s polkrožnim stolpom, ki je po zasnovi na moč podoben polkrožnemu stolpu grajskega jedra, vendar pa polkrožni kordonski venec že kaže na renesančne vplive proti sredini 16. stoletja. Stolp potrjuje tezo, da je mirnski grad protiturško utrjevanje doživel v drugi četrtini 16. stoletja.
5. faza: poznorenesančne prezidave, sredina 17. stoletja
Temeljite poznorenesančne prezidave, ki so dokončno izoblikovale podobo gradu, je okvirno mogoče datirati v sredino 17. stoletja. Za natančnejšo datacijo prezidav je pomembna zlasti letnica 1646 na sklepniku kasneje uničenega glavnega portala. Takrat so nastale na protiturško obzidje naslonjene arkadne galerije, ki so na vseh štirih straneh obdale grajsko jedro. Protiturškega obzidja niso bistveno spreminjali, izjema je bila le južna, proti naselju obrnjena stran, kjer so zaradi lepšega razgleda prebili pet večjih oken in jih opremili s profiliranimi okviri. Sočasno sta nastala tudi oba portala.
Arkadne hodnike so preko širokega arkadiranega mostovža povezali z osrednjo grajsko stavbo, ki so jo prav tako povsem obnovili in predelali. Z izjemo treh šilastoločnih portalov v pritličju so odstranili vse starejše arhitekturne člene. Zunanjščino so enotno fasadirali in opremili z visokimi okni, katerih kamniti okvirji so imeli v obeh nadstropjih poznorenesančno profilirane police in preklade. Podobno je bilo tudi v notranjosti. Celotno pritličje so opremili z opečnimi banjastimi oboki, v nadstropjih pa so še ostali stari leseni stropi na kamnitih konzolah, ki so jih deloma ometali. Preprosti kamniti vratni okviri s profiliranimi prekladami so nadomestili bogato členjene gotske portale.
Hkrati z gradnjo arkadnih galerij so v severozahodnem vogalu obzidja pozidali tudi kar štirietažno mogočno grajsko kaščo, ki je po svoje simbolizirala razcvet gospodarstva po koncu turške nevarnosti. Gre za preprosto zasnovano kubično zgradbo s štirikapno streho in enostavno členjeno zunanjostjo, ki učinkuje predvsem s svojo stavbno maso.
Ob grajskem jedru so se v tem obdobju razvijali tudi drugi deli grajskega kompleksa. Tako so podrli protiturško obzidje ob grajski pristavi in pozidali velik, sedaj povsem podrt hlev, krit s strmo dvokapno, na straneh prirezano streho. Pod obema zgradbama so pozidali še novo, leta 1910 podrto grajsko pristavo v obliki razsežne enonadstropne trotraktne stavbe, ki jo je sredi vzhodnega trakta krasil mogočen štirioglat stolp nad vhodom. Ob tem so uredili še obzidan vrt s sadovnjakom, sotočje Mirne in Vejerja pa so zajezili v sistem ribnikov.
6. faza: baročna prenova, druga četrtina 18. stoletja
V 18. stoletju se je baročna gradbena dejavnost na mirnskem gradu zaradi splošnega pomanjkanja in nerazvitosti omejila večinoma na opremljanje notranjih prostorov in gradnjo nove grajske kapele, prislonjeno na zunanjo južno stran obodnega zidovja. Romansko kapelo pod gradom so v tem času odstranili.
Navzven je bila precej preprosto zasnovana in je s pultasto streho učinkovala skoraj asketsko. Ta vtis so nekoliko popravila štiri segmentno sklenjena okna in zidan zvonik s čebulasto streho, ki so ga pozidali v kotu med novo kapelo in gotskim oglatim stolpom. Povsem drugače pa je bilo v notranjosti. Prostor je bil oblikovan kot svetla enotna pravokotna prostornina z ravnim stropom, okrašenim z bogato rokokojsko štukaturo. Vogali so bili posneti in opremljeni s snopi pilastrov z bogato profiliranimi bazami in kapiteli, ki so nosili profilirano gredo. Tlak je bil sestavljen iz belih kvadratnih marmornih plošč, položenih v diagonalni smeri, na vzhodni strani pa je stal marmornat oltar. Imenitna sta bila zlasti velika intarzirana menza iz belega in rožnatega marmorja in širok profiliran črno marmoriran kamnit okvir za sliko nad njo. Na zahodni strani nad vhodom je bila gosposka empora, dostopna iz pritličja arkadnega hodnika. Od celote so danes ohranjeni le še del obodnega zidu v parapetni višini z ostanki spodnjih delov bogato profiliranih pilastrov, skromni ostanki marmornega tlaka in nekaj fragmentov baročnega oltarja.
Sočasno z gradnjo nove grajske kapele so v drugi četrtini 18. stoletja izoblikovali tudi notranjo podobo stanovanjskih prostorov v prvem in drugem nadstropju grajskega palacija. Prostorov gradbeno niso spreminjali, pač pa so jih na novo opremili z lončenimi pečmi, stavbnim pohištvom, mobilijarjem in lestenci, umetnostno pomembnih pa je bilo zlasti 11 velikih oljnih slik, s katerimi so opremili dve izmed petih med seboj krožno povezanih soban v reprezentančnem drugem nadstropju.
7. faza: utilitarne prezidave v drugi polovici 19. stoletja
Mirnski grad od sredine 18. stoletja pa vse do druge svetovne vojne ni več doživljal pomembnejših sprememb. Sredi ali morda ob koncu 19. stoletja je bil deležen še zadnjih gradbenih posegov. Takrat so pozidali utilitarni dvoriščni prizidek ob okroglem stolpu, pri čemer so zazidali nekaj arkadnih lokov. Zaprli so tudi nekaj arkadnih lokov v pritličju na severni strani in uredili prostore za domače živali. Hkrati so prenovili polkrožno sklenjeni poznorenesančni vzhodni portal, ki so mu v skladu s sodobno historicistično modo nadeli neogotski videz. Temeljito so prezidali in prekrili tudi stopnišče v severovzhodnem vogalu dvorišča, ob severnem in južnem arkadnem hodniku pa so postavili dve leseni povezovalni stopnišči.
Sestavek povzema besedilo iz dela Igorja Sapača Grad Mirna, Stavbni razvoj gradu, 2004.