Rojstna hiša Jožeta Karlovška stoji nasproti cerkve sv. Marjete v Šmarjeti. Veliko sodobno hišo v baročnem stilu je sezidal Karlovškov oče, ki je bil posestnik, gostilničar in trgovec. V hiši sta nekdaj delovali tudi gostilna in trgovina ter prenočišča za goste. Danes prenovljena Karlovška hiša se ponaša z elegantnim modernim pridihom.