Edvard Goršič se je v mladih letih tako kot z glasbo ukvarjal tudi s športom. Še posebej so mu bili pri srcu ekipni športi, kot sta vaterpolo in nogomet. Ukvarjal pa se je tudi z gimnastiko in tenisom. S plavanjem se je začel ukvarjati že v začetku petdesetih let, ko celjski plavalci še niso premogli svojega bazena in so plavanje trenirali v mrtvem rokavu Savinje, v bližini Skalne kleti. V mladih letih je bil skupaj s svojim bratom Tonetom Goršičem aktiven član Plavalnega kluba Neptun, kjer je sodeloval kot plavalec, član ekipe vaterpola in kot trener mladih plavalcev.
