Vsi vaški problemi bodo rešeni, ko bodo izkopali zaklad, ki je še vedno skrit na Gradu, na 632 m visoki vzpetini SV od vasi. V bronasti dobi človeške zgodovine je tukaj živelo eno od takratnih številnih japodskih gradišč, v srednjem veku in za časa turških vpadov pa grad Kozlovec.
Od predzgodovinskega naselja so ostala le že skoraj razpadla nasutja flišnega kamenja, od gradu pa skoraj ničesar več. Grajske zidove je bilo pred prvo svetovno vojno še videti. Da so izginili, naj bi bili krivi vaški otroci, ki so med pašo za zabavo valili kamenje po strmih pobočjih.Grajski portal so rešili tako, da so ga prenesli v brkinski dvorec Odolina. Grajski portal so rešili tako, da so ga prenesli v Odolino pri Materiji. Da še danes najdemo kos zidu, moramo imeti veliko srečo. Še večjo bi potrebovali pri iskanju zaklada. Vanj so nekoč skoraj vsi verjeli. Domišljijo o skritem bogastvu sta nekoliko ohladila dva tržaška študenta, ki sta se še v avstrijskih časih oglasila pri vaškem gostilničarju in mu plačala, da ju je popeljal na Grad. Imela sta neki skrivnosten papir, ki sta ga položila na več mestih na tla. Kjer bi se začel premikati, tam naj bi bil zaklad. Ker se ni nikjer, sta sklenila, da zaklada na gradu ni. Kljub temu so Kozjanci na Grad še nekajkrat odšli s krampi.
Kozjanski grad sicer v arhivskih dokumentih ni izpričan, posredni dokazi pa kažejo, da gre morda za lokacijo izginulega srednjeveškega gradu Voitsberg, ki pa je že v 15. stoletju propadel. Vasi Kozjane tedaj še ni bilo, je pa nekje obstajal zaselek štirih kmetij z imenom Voitsdorf. Vaščani kasnejših Kozjan so bili v preteklosti podložniki gospostva Odolina pri Materiji. Po domače so jo imenovali Odulna. Ni nemogoče, da je kasneje iz srednjeveških razvalin zrasla odolinska grajska pristava ali vsaj nekakšno protiturško zavetišče. Vendar nekateri sodobniki o obstoju kakršne koli grajske stavbe še vedno dvomijo in menijo, da je ledinsko ime nastalo zaradi še vedno vidnih ostalin nekdanjega gradišča. Toda generacije, rojene pred 2. svetovno vojno so se ostankov Kozlovca še vedno spominjale in še tudi danes kdaj pogledajo iz visokih nasutij listja. Ker so bili njegovi zidovi iz belega kamna, jih zlahka ločimo od prazgodovinskih nasipov, ki so in še danes objemajo grajsko vzpetino.
