Šmarje-Sap je sestavljeno ime. Prvi del imena Šmarje je izpričan leta 1347 kot sand Marien, leta 1436 pa kot Smariach.
Je krčenje stare lokativne oblike »šent Marije« ali »pri sveti Mariji«, ki se nanaša na domačo cerkev Marijinega rojstva. Drugi del imena Sap je bil v letih 1763 – 1787 izpričan kot Sapp oder ispe. Ime je izpeljano iz slovenskega občnega imena sap, nasip.
Območje Šmarje-Sapa je bilo poseljeno že v pozni bronasti dobi, o čemer pričata najstarejši najdbi na Magdalenski gori, bronasto bodalo in sulična ost, ki izvirata nekje iz začetka 1. tisočletja pr. n. št. Med druge pomembnejše najdbe sodijo bronaste situle, različne zaponke in okrasni nakit ter okrasna ploščica v obliki štirikrakega križa s konjskimi glavami.
V rimski dobi se je življenje preselilo v nižino – ob glavno cesto med Ljubljano (Emono) in Siskom (Siscijo). Naselbina v Šmarski dolini je bila najverjetneje manjši vicus ob rimski cesti, kjer je lokalno prebivalstvo živelo na staroselski način, vseeno pa lahko iz pridatkov, tako žganih žarnih kot skeletnih grobov, razberemo tudi rimske navade.
Pri arheoloških izkopavanjih so odkrili ostanke rimske ceste na Razdrtem in v Šmarju. Skozi Razdrto je potekala rimska javna cesta, ki je iz Italije vodila v Panonijo in na Balkan. Imena kot so Tlake (tlak ali tlaka) in Razdrto (ruševine) pričajo o poznavanju rimskih imen v kasnejšem času.
Prvi ohranjeni zapis o Šmarju je listina iz leta 1228, nastala 29. oktobra. V tej listini je omenjen Wluingus, župnik župnije Harland, to je Šmarja. Ime Harland je pomenilo deželo lanu. Šmarje se večkrat navaja kot Sv. Marija v Lanišču. Ker listina obstoj župnije navaja kot dejstvo, je skoraj gotovo, da je župnija tu obstajala že veliko prej. Šmarska župnija je bila leta 1497 priključena samostanu v Stični. O Šmarski župniji piše tudi Valvasor v Slavi vojvodine kranjske. V VIII. knjigi piše, da je cerkev v Šmarju posvečena rojstvu naše ljube gospe, da je obdana s taborom in ima 25 podružnic.
