Šmarje pri Jelšah je ime St. Marein bei Erlachstein dobilo po cerkvi Marijinega vnebovzetja, ki je bila prvič omenjena leta 1236 in se je prvotno imenovala »Sancta Maria«. Legenda pravi, da je bilo nekoč v Šmarju veliko jezero, in da so na njegovem otoku postavili Škapulirsko kapelo, kateri so sčasoma prizidali sedanjo cerkev. Cerkev se je imenovala Marija na jezeru. Trške hiše okoli cerkve so postavili na jelše, ki so v vodi okamenele, kar ime kraja oblikuje v Šmarje na Jelšah. Območje Šmarja je spadalo h krškemu gospostvu Lemberg, ki so ga v 12. stoletju v fevd dobili Žovneški gospodje, od leta 1456 pa je bilo v lasti deželnih knezov. Vas se leta 1348 imenuje St. Marein, leta 1385 St Marein bei Lemburg in leta 1446 St. Marein underm Botschaidt. Kraj je od konca 15. stoletja spadal pod posestvo Korpule, ki se je leta 1680 združilo s posestvom Jelše, v 1. pol. 19. stol. je spadalo pod gospoščino Jelše. Leta 1778 in 1790 je Šmarje pogorelo.
Cerkev so v dobi turških napadov obdali z močnim obzidjem, ki je bilo odstranjeno leta 1878. Pred letom 1348 je bil pri cerkvi vikariat, šele leta 1701 je postala samostojna župnija. Cesta v Šmarje je prvotno potekala iz Celja preko Ponikve, mimo Jelšingrada, sedanja cesta skozi Šentjur, Grobelno in Šentvid pri Grobelnem poteka od 2. četrtine 19. stoletja.
Z izgradnjo Južne železnice leta 1846 je narasel tranzitni promet, do leta 1903, ko ga je nadomestila železniška proga Grobelno – Rogatec. Šmarje je dobilo trške pravice leta 1871 ter sočasno sedež okrajnega sodišča, davčnega urada, pošte, orožniške postaje, pravico do štirih letnih sejmov. Po prvi svetovni vojni postane sedež okraja (Curk, J. Trgi in mesta na slovenskem štajerskem, 1991. Str. 134-135).
