“Ko se približuješ po ravni cesti proti vasi, te najprvo pozdravlja že od daleč mogočni zvonik s hodnikom, ki obkroža vrhnji del stolpa. V sredi vasi se ti pa odpre pred očmi za podeželsko vas precej prostoren štirikotni trg. Na eni strani ceste stoji nova velika cerkev, za njo obsežno enonadstropno župnišče in enonadstropna kaplanija. Na drugi strani ceste, frontalno obrnjeno na trg, pa te iznenadi pogled na mogočno hišo, spodaj z gostilno in s trgovino, zgoraj s stanovanjem. Streho krasijo razni stolpiči, kar je bilo moderno pred petdesetimi leti. Ko je bila nova leta 1905, so jo ljudje prišli občudovat od daleč, kot nekaj posebnega za podeželski kraj.”
Tako je Jože Karlovšek napisal v svojih spominih, ki jih je pisal v bolnici leta 1963, ko je zbolel. In res je. Še danes vas bo ob obisku Šmarjete iznenadil pogled na to prekrasno hišo, v kateri je odraščal. Hiša s hišno številko 51 je njegova rojstna hiša in slovi kot Karlovškova hiša. Na njenem pročelju je občina že pred nekaj mandati postavila Karlovškov bronasti doprsni kip, delo akademskega kiparja Borisa Prokofjeva. Hišo je s z bratovo pomočjo, v značilnem baročnem stilu, okrog leta 1905 sezidal Karlovškov oče. S celovito obnovo, ki je potekala v desetmesečnem obdobju 2020–2021, je ta hiša postala Dvorec Gregorčič – sodoben in prijeten 4-zvezdični hotel, ki nudi celostno ponudbo za popoln oddih.
Jože Karlovšek je bil rojen 12. februarja 1900 v Šmarjeti pri Šmarjeških Toplicah. Njegov oče, Janez Karlovšek, je bil posestnik, gostilničar in trgovec. Karlovškov oče je leta 1905 z bratovo pomočjo sezidal veliko baročno hišo na mestu, kjer je prej stala stara večja kmečka hiša, delno zidana in delno lesena. Razen trgovine in gostilne so bili v hiši še pošta, prenočišče za tujce in delno stanovanje za učitelje, v kolikor ni sam potreboval prostorov za svojo družino. Trgovino je zalagal s poljskimi pridelki, trgoval je z lesom in drugimi izdelki, karkoli se je ponudilo kot priložnost za pospešitev gospodarskega življenja. Gostilna je imela zagotovljen dober obisk, saj je bilo veliko gostov iz bližnjih Šmarjeških Toplic. Trgovino je vodila stara mati, znana trgovka. V Bojniku je Janez Karlovšek zasadil tudi velik vinograd. Postavil je lastno trtnico za mladike in drevesnico, od koder je pridobival material za postavitev novih vinogradov in sadovnjakov za svoje in tuje potrebe. Janez Karlovšek je bil odločen in napreden v gospodarstvu, zaveden Slovenec, dejaven tudi v politiki kot liberalec.
Jože Karlovšek se je tako rodil 12. februarja 1900 še v stari hiši očeta Janeza Karlovška in matere Amalije, rojene Kristan. V družini se je rodilo 8 otrok, 4 fantje in 4 dekleta. Jože je bil peti otrok. Stara hiša je bila večja značilna enonadstropna podeželska hiša. Zahodni del je bil zidan iz kamenja in blata, spredaj je bila kramarska trgovina, na vrhu pa skromno družinsko stanovanje. Nad streho je molela frčada. Že stari oče je bil trgovec – kramar, zato se je tam po domače reklo kar pri Kramarju, a je to ime pozneje utonilo v pozabo. Vzhodni del hiše je imel v pritličju zidano klet, nadstropje, kjer je bila gostilna, pa je bilo leseno. V nadstropje so vodile lesene stopnice na leseni balkon, od koder se je prišlo v vežo. Ob nedeljah, ko so ljudje prihajali iz cerkve, je občinski sluga z balkona vedno oznanjal uradne in vaške zadeve. Hiša je bila v času Jožetovega rojstva že v slabem stanju. Ob deževnem vremenu je voda že pronicala skozi streho in strop na postelje. Janez Karlovšek je s pomočjo brata Josipa, ki je prvo leto v Ljubljani študiral bogoslovje, pozneje pa pravo in se kot odvetnik zaposlil v Celju, postavil novo hišo v baročnem stilu leta 1905.
Ko je bila čudovita hiša končana, je ostalo veliko dolga, promet v trgovini in gostilni pa je bil preskromen za plačilo vseh stroškov. Pri hiši je bilo tedaj že 6 otrok. Za očeta Janeza je to pomenilo kar veliko stisko, zato je hči Mirico in sina Janka oddal bratu Josipu v Celje. Starejšo hči Amalijo je pozneje poslal k drugemu bratu, Francu, ki je imel trgovino. Amalija je pozneje prišla domov kot glavna pomoč v gospodinjstvu in pri gospodarjenju. Drugi dve hčerki sta bili mlajši, zato je bil Joe tisti, ki je moral doma veliko pomagati očetu in materi.
Osnovno šolo je končal v Šmarjeti. Na šolske dni Jože ni imel prav lepih spominov. Spominja se, da je bil bosonog in revno oblečen. Učiteljica ga je večkrat kaznovala tako, da je moral nastaviti dlani, po katerih ga je tepla z leskovo palico, zaradi neznanja, saj časa in volje za učenje ni bilo. Po zadnjici jih je dobil tudi od kaplana, ker dolgo ni znal moliti. Ko je končal peti razred osnovne šole, so mu starši povedali, da bo šel v mestno šolo. V obdobju prve svetovne vojne je začel obiskovati prvo gimnazijo v Novem mestu. V majhni sobi so stanovali trije dijaki. Poleg Jožeta še Fran Fajdiga, ki je bil pozneje direktor v tovarni Dekor v Zgornji Šiški, ki sta jo ustanovila Jože ter Ivan Klemenčič. Že v gimnaziji je pokazal veselje do risanja in umetnosti. Prvo izkušnjo v risanju je pridobil pri akademskem slikarju, profesorju Josipu Germu. Žal je ta pouk zaradi vojne trajal le eno leto, kar je Jože zelo obžaloval. V drugem letu vojne se je preselil v drugo stanovanje, kjer je živel s sestrama Amalijo in Tinco, ki sta obiskovali meščansko in gospodinjsko šolo. Pozneje so se še enkrat preselili, ko je oče zanje najel staro zapuščeno kovačnico in jo na hitro preuredil. Tam so potem trije Karlovškovi otroci končali šolanje – Jože pet razredov gimnazije, dekleti pa meščansko šolo. Kljub temu, da so med šolanjem živeli v skromnih najetih stanovanjih, je oče kljub denarni stiski poskrbel, da so vsi otroci študirali – eni več, drugi manj -, da bi le prišli do boljšega položaja. Vseeno pa si je oče med prvo svetovno vojno finančno opomogel.
Domačini se Jožeta Karlovška spominjajo kot molčečega in zamišljenega človeka.
