Gora Oljka je kraški osamelec (triasni apnenec) s 733 m nadmorske višine na severovzhodnem robu Spodnje Savinjske doline. »Savinjska Šmarna gora« je dobro vidna z vseh strani Savinjske doline, hkrati pa odlična razgledna točka, s katere je bilo ob jasnem vremenu mogoče videti množico vrhov in po mlajših navedbah 64 cerkva (Fran Kocbek), po starejših pa celo 75 (Ignac Orožen). Hrib je prvič omenjen kot Križna gora leta 1234, po zaselku, ki se razprostira po vsem vzhodnem pobočju, pa so ga imenovali tudi Dobrič. Savinjski planinci so že leta 1897 iz Šmartnega ob Paki proti vrhu Gore Oljke markirali prvo pot. Delno po asfaltni in delno po makadamski poti je do planinskega doma pod vrhom mogoč tudi dostop z avtomobilom. Čez vrh Gore Oljke vodijo štiri planinske transverzale: Savinjska planinska pot, Šaleška planinska pot, Po poteh Andraža in Geološka pot.
Najkasneje od sredine 17. stol. je na vrhu hriba stal križ, vsaj od leta 1753 pa tudi lesena kapela s kipoma sv. Jošta in sv. Neže. V letih od 1754 do 1773 so na vrhu hriba v baročnem slogu zgradili cerkev sv. Križa. Pročelje, ki gleda proti jugu, je široko 21 m, ostali del zgradbe pa se razteza v dolžini 32 m proti severu. Zvonika, ki na južni strani obrobljata pročelje, sta visoka 38 m. Pod cerkvijo leži podzemno svetišče kvadratne oblike s stranicama 8 x 8 m, do njega pa vodita dva enaka hodnika, dolga 11.30 m. Cerkev je kot romarska točka doživljala burno zgodovino, med drugim jo je dvakrat prizadel požar: maja 1837 in julija 1932. Sedanji zvonovi so jekleni in so delo Kranjske industrijske družbe iz leta 1924.
Bivšo mežnarijo pod cerkvijo so leta 1963 preuredili v planinski dom in ga kasneje večkrat prenovili.
Markantna lega in hkrati dostopnost z vseh strani sta Goro Oljko ljudem približala že zelo zgodaj in tudi danes jo preplet verskega, planinsko-družabnega in turistično-kulturnega dogajanja določa kot prostor, ki ni nikoli osamljen.