»Veliko gradov poznam na Slovenskem, a nobenega ne, ki bi imel lepšo lego in krasnejšo okolico, kakor brdski grad. Kamor se ozreš, prijazne vasi, lepe cerkve in bele ceste, temni gozdovi, zeleni travniki, bogato polje, šumeči potoki, zadaj pa snežno beli Grintovec-zares, to je lep kraj. In prostorni grad sam… s širokimi hodniki na vseh štirih notranjih straneh razburja to mlado fantazijo,« tako je opisal grad Brdo z okolico Fran Levec, literarni zgodovinar in učitelj našega pisatelja Janka Kersnika.
Na gradu je grajske otroke poučeval Fran Levec, kot sodnika pa sta tu službovala skladatelja Oskar Dev in Anton Lajovic. Dev je ustanovil društvo Zarja, ki se je kasneje preselilo v Šentvid pri Lukovici. V začetku leta 1903 je nekaj časa tu slikal Ivan Grohar. V začetku 19. stoletja je grad hkrati z obsežnim posestvom priženil sodnik Jožef Kersnik, oče pisatelja Janka.
V njem so bili od leta 1868 okrajno sodišče, davkarija in zapori. Ječar je bival v pritličnih prostorih jugovzhodnega stolpa. Zraven je bil ločen ženski zapor. Celo severno in zahodno stran 1. nadstropja so zasedali prostori sodišča, na istem koncu v vseh nadstropjih so bile sanitarije. Stranišča so bila na „štbunk” z lesenim pokrovom. Grajski zidovi so sestavljali bogat mozaik zgodovine vse do druge svetovne vojne.
Grad je imel klet, kjer so hranili kislo zelje, krompir in druge poljščine. Imel je tudi dve črni kuhinji, odprto ognjišče, kjer so kuhali v velikih litoželeznih loncih. V posodah so cvrli slanino, pod stropom pa sušili klobase in suho meso. Imeli so tudi krušno peč, jedilnico za delavce in mlečno kamro. Obstajala je tudi močnata kamra, kjer so shranjevali moko in tudi meso. V vinski kleti sta bila v hrastovih sodih shranjena mošt in žganje. Vodovoda ni bilo, zato je bilo potrebno vodo nositi iz vodovnjaka pred gradom. Poleg kuhinje sta bili sprejemnica in graščakova pisarna, kasneje pisarna Antona Kersnika, ki je bila obenem tudi lovska soba. Na južni strani gradu je bila lepo opremljena soba Slavke Kersnik, pisateljeve hčere, z visoko pečjo, sedežno garnituro, ovalno mizo in stoli. V drugem kotu je bila postelja z nočno omarico. V zid je bila vdelana majhna niša, v kateri je bila nočna posoda. Soba pisateljeve vdove je bila večja. V jedilnici, „zolu” kot so ji rekli, je bila velika raztegljiva miza z lesenimi stoli. Tu je stal tudi klavir. V gradu je bilo veliko slik. Večina jih je med požarom pogorela, nekatere so bile verjetno odtujene. V okenskih nišah pa so imele pisateljeve hčere prostor z mizo in stolom, kjer so preživljale svoj prosti čas, brale, šivale in pletle.
V 2. nadstropju so bili prostori večji, a so jih kasneje prezidali. V severnem in severozahodnem delu je imel do leta 1930 prostore davčni urad, kasneje pa sodnik Zupančič z družino. Blizu je bila soba, ki so ji rekli „šola”, saj so se pisateljevi otroci šolali doma in so tam imeli svojega domačega učitelja. Prostori, ki so se nahajali v jugovzhodnem in južnem delu 2. nadstropja so ostali nespremenjeni od pisateljeve smrti. V stolpu je bila bogata knjižnica, sprejemnica, naprej pa salon in jedilnica. Ta predel so imenovali „ta lepe cimre” in so ga enkrat letno temeljito očistili. V jugozahodnem stolpu je bila glavna spalnica Antonove družine, zraven pa otroška soba, fantovska spalnica in ločena očetova spalnica. Starejši fantje so spali v petposteljni sobi, ki je bila med obema spalnicama. Visoka peč na drva je bila v vsakem prostoru, ki so imeli kurišče v niši na hodniku, tako da saje in dim niso nikoli prišle v notranje prostore. Dimniki v gradu so bili tako široki, da se je dimnikar lahko spustil po njih in s posebno obleko, ki je imela ščetke delo opravil hitro. Dimniki v zaporu pa so imeli vgrajene mreže, da ne bi kdo od zapornikov pobegnil.
Po izselitvi graščaka Antona z družino je sredi leta 1942 zaradi povečane partizanske aktivnosti na grad prišlo okoli dvesto mož nacistične SS, ki so ostali do zime. Po njihovem odhodu je prišel novi nemški oskrbnik. V zimi 42/43 je bilo v njem okrog petnajst oboroženih mož, ki so hodili po vaseh in vohunili za partizani. Leta 1943 pa so partizani grad požgali in od takrat ni bil nikoli več obnovljen v prvotno stanje. Namesto nekoč mogočnega gradu je danes obnovljen celoten obod gradu. V neposredni bližini gradu se nahaja tudi grajski park z ribnikom in gabrovim ter kostanjevim drevoredom, ki sta ovrednotena kot spomenika oblikovane narave.
Odlomek iz knjige Topliški dnevnik, ki ga je pisala pisateljeva hči Slavka Kersnik, ko je med vojno bivala pri sestri Maši v Dolenjskih Toplicah, po tistem, ko je niso izgnali v Srbijo, saj je iz obupa popila strup in so jo uspeli rešiti:
PONEDELJEK, 24. maja 1943
Davi sva bili ko običajno z Mašo pri šmarnicah. Jutro je mračno, deževno. Okrog osmih prideta nepričakovano Anča in Kamila. Prišli sta obiskat Štancija, ki je zelo bolan in vidno peša. Anča in Kamila mi sporočita strahovito vest, da je Brdo, moje ljubljeno, posnosno, prelepo Brdo požgano. V noči od 18. na 19. maj so ga ob enajstih zvečer partizani zažgali. Rušini otroci in Zefka so komaj rešili sebe in nekaj obleke ter posteljnine. Vse drugo je plen plamenov. Požgano je bilo zaradi dejstva, ker so notri stanovali največkrat gestapovci, gospodaril je pa itak Nemec. Vse naše stvari, pohištvo in sploh vse nepremičnine so delom zgorele, deloma so pokradli Nemci. Zdaj smo torej res vsi berači!