Edvard Goršič je leta 1961 prevzel vodenje takratnega mešanega pevskega zbora Železničarskega prosvetnega društva France Prešeren Celje, naslednika leta 1895 ustanovljenega Celjskega pevskega društva. Zbor je leta 1960 ostal brez dirigenta in tako je Edvard Goršič leto dni kasneje še kot absolvent glasbenega oddelka pedagoške akademije uspešno zasedel mesto dirigenta zbora z najstarejšo tradicijo v Celju.
S svojim svežim elanom je zbor okrepil s številnimi mladimi pevci in repertoar zbora obogatil z zahtevnejšimi klasičnimi deli. V začetku osemdesetih let je zbor pridobil sloves najboljšega pevskega zbora v takratnem celjskem okraju. Tako prenovljeni zbor se je udeleževal nastopov in mednarodnih zborovskih tekmovanj tudi preko meja nekdanje Jugoslavije. V začetku 70. let prejšnjega stoletja se je zbor začel udeleževati številnih tekmovanj doma in na tujem, pri tem so se spletle prijateljske vezi z zbori v tujini. Med drugim je zbor leta 1988 prejel zlato plaketo na tekmovanju slovenskih pevskih zborov »Naša pesem« v Mariboru, leta 1986 je dosegel četrto mesto na mednarodnem tekmovanju v francoskem Toursu in drugo mesto na radijskem tekmovanju Naši zbori pred mikrofoni. Postali so eden osrednjih zborov v slovenskem prostoru. Zbor je pod vodstvom Edvarda Goršiča v osemdesetih letih doživel svojo zlato dobo.
Poleti leta 1991 je zbor prevzel svoje prvotno ime Celjsko pevsko društvo. Pod starim/novim imenom je istega leta nastopal na papeški avdienci v Rimu. Leta 1995 je Celjsko pevsko društvo praznovalo stoto obletnico neprekinjenega delovanja in ob tej priložnosti bilo odlikovano z zlatim grbom Mestne občine Celje.
Mešani pevski zbor Celjskega pevskega društva se je v glasbeni spomin Celjanov zapisal s svojim repertoarjem, ki je obsegal najtehtnejša zborovska dela domačih in tujih skladateljev, in skrbno načrtovanimi koncerti, pri katerih je pogosto sodeloval s prijateljskimi zbori in instrumentalnimi glasbenimi zasedbami, kot sta Celjski godalni orkester in Celjskim plesni orkester Žabe.
Edvard Goršič je Mešani pevski zbor Celjskega pevskega društva vodil polna štiri desetletja, do leta 2001, ko ga je kot zborovodja nasledil njegov sin Matevž Goršič.
Spomini
»S svojo veliko izrazno močjo je suvereno vodil zbore, tako da so skladbe dosegle svoj namen v vsej veličini, zato so bili nastopi njegovih zborov vedno iskreni in čustveno doživeti. Na tekmovanjih je bil deležen burnih ovacij in spontanih aplavzov s strani občinstva, s strani žirij pa visokih ocen, čeprav mu je bilo prvo velikokrat največja nagrada« (Rado Frece).
»V štiridesetih letih se je pod mojo taktirko izmenjalo okoli petsto pevk in pevcev. Vesel sem, da sem vsem tem ljudem nudil dvakrat na teden razvedrilo, ob razvedrilu pa še kulturno udejstvovanje, ki je bilo dostikrat poplačano z lepimi uspehi in dosežki na nastopih, revijah, tekmovanjih. Nenazadnje sem z njimi prepotoval dobršen del Evrope« (Edvard Gorišč, Novi tednik, 3. 5. 2001, str. 18).
»Vedno je bil zbor poznan po tem, da so skupaj prepevali in se imeli radi ljudje iz različnih slojev, najrazličnejših poklicev, starosti, nagnjenj, a ni bilo med njimi nikoli nikakršnih trenj. Vedno smo skrbeli, da je bila to velika in prijetna družba, v kateri je na eni strani stal sodnik vrhovnega sodišča in na drugi avtoklepar. Zame in za vse nas so bile vedno najbolj pomembne glasovne in siceršnje kvalitete človeka, pevca. Resda se je včasih pojavil kdo, ki se ni mogel vklopiti v to našo druščino, a se je kmalu sam poslovil« (Edvard Goršič, Novi tednik, 3. 5. 2001, str. 18).