Mali grad stoji na velikem skalnem pomolu, usmerjenem od vzhoda proti zahodu, ki na južni strani zapira staro mestno jedro Kamnika. Človekova prisotnost na vzpetini je z redkimi arheološkimi najdbami dokazana že v prazgodovini in antiki.
Te stopnjice iz mesta gor so delali vragi, ne ljudje.
Anton Medved, Cesar Friderik na Malem gradu
Med arheološkimi izkopavanji na severovzhodnem koncu grebena, pod kapelo, so med obsežnimi konservatorskimi deli v letih 1989–1992 našli manjše staroslovansko grobišče s 27 grobovi iz 10. in začetka 11. stoletja. Gradnja prvega gradu je verjetno povezana z začetki močnejše bavarske prisotnosti na tem območju. Do tega je zagotovo prišlo zaradi strateške lege Malega gradu, ki povezuje Kranjsko in Savinjsko marko. Grad je bil morda postavljen konec 11. stoletja, zagotovo pa je stal v 30. letih 12. stoletja, ko se po njem omenja grof Bertold II. Andeško-Meranski.
Pod rodbino Andeških je Kamnik vstopil v svojo srednjeveško zlato dobo. V začetku 13. stoletja so prebivalci trga pod Malim gradom od njih pridobili mestne pravice in se leta 1229 prvič pisno omenjajo kot meščani. V istem obdobju so Andeški uvedli prisilnost, torej obvezno uporabo povezave med Kranjsko in Štajersko skozi Tuhinjsko dolino. Prisilna pot, po kateri je skozi Kamnik potekala trgovina med jadranskim in panonskim svetom, je obstajala do prve polovice 16. stoletja in mestu prinašala blagostanje. Mali grad je bil upravno središče andeških posesti in glavno prebivališče mogočnih grofov na Kranjskem. Njegov pomen potrjuje tudi dejstvo, da so imeli Andeški konec 12. in v začetku 13. stoletja tam verjetno svojo kovnico denarja.
Ko se je trgovina v prvi polovici 16. stoletja preselila na bližnjo pot čez Črni graben in Trojane, je mesto začelo vidno propadati. Zanimivo je, da se je postopni zaton Malega gradu začel že precej prej, v času, ko je mesto pod njim še doživljalo gospodarski razcvet. Medtem ko je vlogo upravnega središča prevzel Stari grad, ki je postal sedež kamniškega deželnoknežjega gospostva in deželskega sodišča, je Mali grad prehajal v roke različnih gradiščanov, včasih sta na njem bivala celo dva. Že leta 1444 se Mali grad omenja kot zapuščen.
Sredi 15. stoletja, v času turških vpadov, je dal Friderik III. dodatno utrditi Kamnik, vključno z Malim gradom. Verjetno so takrat utrdili razgledni stolp na najvišji točki grebena, ki je odtlej služil kot manjša obrambna trdnjava in dal ime celotnemu območju. V zgodovinskih virih iz 14. in 15. stoletja je pogosteje imenovan nemško kot »Klein Vest« ali »Niedern Vest« (Mala ali Spodnja utrdba), da bi ga ločili od Starega gradu, ki je bil imenovan »Ober Vest« ali »Ober Stain«. Slovensko govoreči prebivalci so mu seveda rekli Mali grad.
Z gospodarskim zatonom Kamnika ni bilo več sredstev in interesa, da bi Mali grad ponovno oživeli. Meščani so redno vzdrževali kapelo, ki je postala ena od podružnic kamniške župnije z lastnim cerkovnikom. O Malem gradu je v svoji Slavi vojvodine Kranjske (1689) pisal tudi Valvasor, ki je zapisal eno od variant legende o Veroniki in naročil prvo upodobitev Kamnika. Mali grad se je v slikarskih upodobitvah začel pogosteje pojavljati šele v 19. stoletju. Od konca 80. let 19. stoletja je prisoten na razglednicah vse bolj turistično prebujenega zdraviliškega mesta. Iz stoletnega sna se je prebudil kot ena osrednjih mestnih znamenitosti, dokaz njegove starodavnosti, tradicije in nekdanje veličine.
