Vse od poznega srednjega veka je bila graščina ob cerkvi sedež komendatorjev Malteškega viteškega reda. V začetku 18. stoletja jo je dal Peter Jakob Testaferrata temeljito prezidati. Po jožefinskih reformah jo je prevzel v upravljanje verski sklad. Kasneje je zgradba služila različnim namenom. Leta 1894 je prešla v last družine Luke Šmida, oskrbnika bližnje kriške graščine. Njegova družina jo ima v lasti še danes. Leta 1942 so partizani graščino požgali.
„Poslopje sega v gotsko dobo nazaj in so še sedaj v prednjem traktu in v traktu ob cerkvenem ozidju ohranjeni gotski detajli, okvirji oken, vrata in posebno v novi strop vdelan napis prvotnega, l. 1754. radi starosti z novim nadomeščenega stropa z letnico 1499. Najstarejši opis je ohranjen v protokolu vizitacije l. 1680. Poslopje je bilo, kakor še danes, razvrščeno okoli triogelnega dvorišča in je bilo po večini leseno in nizko. Imelo je v nadstropju 5 sob, v pritličju prostore za služinčad in shrambe, pod stopnicami pa ječo za upornike in hudodelce. Drugi opis se nahaja v Cabreum iz l. 1709., ki pravi, da je „aedificium parumper humile more antiquo constructum“. Wiserjeva slika iz 1761 nam kaže prednjo stran s pritličnim, nekoliko nazaj pomaknjenim srednjim delom med dvema ogelnima, ki sta pomaknjena kot stolpa naprej in imata nadstropje iz lesa. Pritličje ima štirioglata okna, gornji leseni del štirioglate line. Temeljito prenovil ga je pred l. 1751. Testaferrata /…/.To stanje se je v bistvu ohranilo do zač. 20. stol., ko ga je takratni posestnik Luka Šmid prezidal in mu dal sedanjo obliko.
/…/ Grad, ki je bil prvotno sedež Komende, je sedaj v privatni lasti. Razpoložen je okrog trikotnega dvorišča, tako da se en trakt (južni) naslanja na cerkveno ozidje. V tem traktu se nahaja največ ostankov prvotne gotske arhitekture, tako kameniti okenski okviri s posnetimi robovi in pet gotskih kamenitih portalov; eden je v prvem nadstropju pravokoten z na ajdovo zrno posnetim robom, najlepši vodi z dvorišča v klet v pritličju, je pravokoten, ima bogat profil iz palic in žlebov in na prekladi štirioglat sklepnik; trije pa so v kleti, eden je polkrožen s posnetim robom, drugi je istotak, tretji pa ima ravno preklado na konzolnih oglih.”
France Stele: Politični okraj Kamnik, str. 377.
V spomin Komendčanov se je grad zapisal tudi kot kraj, kamor je neznana mati odložila nekaj dni prej rojenega Petra Pavla Glavarja. Najdenček se je dve desetletji in pol kasneje vrnil kot upravitelj graščine, pred katero je bil najden. Vrata komendske graščine so se tako v spomin kot tudi v literaturo zapisala kot kraj materinske bolečine, a tudi upanja.
„Kdo je bila? Siromašna hči revnega bajtarja nekje pri Krškem. Za boljšim kruhom je šla z doma. Imela je teto, ki je tudi šla in si pridobila moža v Ljubljani in je bila neki bogata in debela. “Tudi jaz bom bogata in debela in bom imela moža v Ljubljani.” Služila je pri gosposkih ljudeh. Neka tovarišica jo je skvarila, hvaleč jo, kako je lepa in da mora biti priljudna z moškimi. Po naključju je prišla za strežnico h komendskemu komendatorju. Njena ljubka zunanjost je sprva prijala okusu visokega gospoda. Ko pa se je začela razvijati njena ničemurnost v preveliki meri, jo je visoki gospod pokaral. Upal pa je, da ji bo slaba nagnjenja ubil z dobro besedo in blagohotnim prizanašanjem. Morda bi se mu bilo to tudi posrečilo, a tedaj je prišel k njemu na daljši obisk nekak njegov sorodnik. Bil je to mlad fant, ki je študiral. Klicali so ga Ciprijana. Lepšega fanta tedaj ni bilo pod šempeterskim zvonom. Ne da bi gospod komendator kaj slutil, sta se Ciprijan in komendatorjeva strežnica spoznala, sprijaznila in začela misliti drug na drugega. Svoje znanje pa sta znala dobro prikrivati, tem laže, ker je bil komendator slepo zaljubljen v svojega sorodnika in mu je bilo celo všeč, da je strežnica mladeniču naklonjena. Ženice na vasi pa so si vendar začele nekaj šepetati in župnik Rogelj je tudi nekaj zvedel in bil nevoljen na deklino. O priliki je previdno opozoril komendatorja. Ta ga ali ni umel ali ni hotel umeti. Verjel je preveč svojemu sorodniku, izpregledal mu mnogo. Bil je zadnji član družine baronov Testaferratijevih …”
Ivan Pregelj, Peter Pavel Glavar, lanšpreški gospod, 1922
Glavar je vseskozi kazal veliko skrb za zdravje ljudi na svojih posestih. V Komendi so bile pogoste bolezni ljudi in živine zaradi slabe pitne vode. Leta 1749 je dal v bližini graščine izkopati 29 metrov globok vodnjak, da bi ljudem zagotovil pitno vodo. Vodnjak je še ohranjen.
V 50. letih 20. stoletja je arhitekt Jože Plečnik pri Glavarjevem vodnjaku našel navdih za oblikovanje začasnega tabernaklja za glavni oltar župnijske cerkve, s katerim naj bi nadomestili močno poškodovanega Jelovškovega.
V glavnem oltarju je danes replika prvotnega tabernaklja, Plečnikov tabernakelj pa je v prizidani stranski kapeli.
