Čeprav je Celje v šestdesetih in do sredine sedemdesetih let prejšnjega stoletja v rokometni infrastrukturi (igriščih) zaostajalo za Trbovljami, Mariborom in še prav posebej za Ljubljano (hala Tivoli, zgrajena leta 1965), pa je z izgradnjo dvorane Zlatorog leta 2003 tudi po tej plati postalo nesporen center rokometa v Sloveniji.
Še pred ustanovitvijo kluba so celjski rokometaši pred in med 2. svetovno vojno trenirali na lepo urejenem igrišču v Čretu, do leta 1944 pa nastopili na več prijateljskih tekmah in prvenstvu Štajerske v sosednji Avstriji. Veliki rokomet so Celjani bolj množično pričeli igrati leta 1946, po združitvi Celja in Olimpa leta 1947 ter ustanovitvijo centralnega športnega društva Kladivar, pa so celjski rokometaši dobili svoj prvi sedež in domovanje na igriščih na Glaziji in Skalni kleti. Najpomembnejše tekme so igrali na Glaziji, igrišče na Skalni kleti s črnim lešom pa so na začetku uporabljali predvsem za treninge. Prvo uradno tekmo v velikem rokometu so Celjani odigrali 29.4.1949 na Glaziji proti ekipi Enotnosti iz Ljubljane (20:2), zadnjo, v kateri so se pomerili „stari” in „mladi”, pa ob proslavi 15-letnice RK Kladivar, 21.11.1964.
Celjski rokometaši so se v malem rokometu prvič predstavili leta 1951 s propagandno tekmo proti Ljubljani (43:4) na v te namene postavljenem začasnem igrišču na betonu pred železniško postajo, trenirali in prve uradne tekme v mariborski podzvezi 1954/55 pa so odigrali na črnem lešu Skalne kleti. Na tem igrišču so bile od 5.-6. julija 1958 na republiškem turnirju z udeležbo štirih ekip odigrane tudi zadnje uradne tekme velikega rokometa v Sloveniji.
Istega leta 1958 se prične bitka za primat v malem rokometu med mestnima tekmecema ŽRK Celje in TVD Partizan-mesto, katerega člani so trenirali in z mlajšimi selekcijami (mladinci, pionirji …) nastopali na peščenem igrišču sedanje Gimnazije Celje-Center. Po združitvi obeh ekip leta 1964 so na tem igrišču Celjani odigrali jesenski del prve sezone 1966/67 v 1. jugoslovanski ligi, tudi najbolj odmeven in obiskan slovenski derbi ŽRK Celje : Rudar Trbovlje. Zaradi neustreznega igrišča in zapore po izgredu na tekmi z Dinamom iz Pančeva, jeseni 1966, so celjski rokometaši štiri domače tekme morali odigrati v Mariboru in Trbovljah, sezono pa spomladi 1967 končali na za rokomet razširjenem in asfaltiranem košarkarskem igrišču. Na njem so se Celjani spomladi 1968 preko kvalifikacij vrnili med jugoslovansko elito in tu nastopali tri sezone (1968-1971). Zadnjo tekmo na legendarni Skalni kleti so odigrali 9.5.1976 v 2. zvezni ligi proti večnemu tekmecu Slovanu. Skalna klet je bila domovanje celjskih rokometašev trideset let – od začetkov organiziranega igranja rokometa v Celju leta 1946.
Ob praznovanju 30. obletnice kluba so Celjani in ljubitelji celjskega rokometa dobili najlepše darilo – dvorano Golovec. Otvoritveno tekmo v novozgrajeni dvorani so celjski rokometaši odigrali 1.7.1976 na kvalifikacijski tekmi z Veležem, nato v njej trenirali in nastopali polnih 27 let ter se od nje poslovili z zadnjo tekmo 30.11.2003 proti nemškemu Flensburgu v zmagoviti sezoni evropske Lige prvakov 2003/04. V dvorani Golovec so Celjani odigrali polovico (štiri) od vseh sezon med jugoslovansko elito in v tej ligi, takrat najboljši v Evropi, dosegli svojo najboljšo uvrstitev: dvakrat sedmo mesto v sezonah 1976/77 in 1977/78. V spominu celjskih ljubiteljev rokometa ostajajo nepozabne tekme in zmage s takratnimi najboljšimi ekipami bivše države, pa tudi kašen neljub dogodek in incident, kot je bil na primer jeseni 1983 na tekmi s Partizanom iz Bjelovarja z zaporo igrišča, suspendiranimi posamezniki … V dvorani Golovec so bili celjski rokometaši sedem sezon (1984-1990) neporaženi v 2. jugoslovanski ligi, v tej dvorani so leta 1993 začeli svoj zmagoviti pohod na evropski prestol!
Pol leta pred zadnjo tekmo v dvorani Golovec, 16.4.2003, sta celjski župan Bojan Šrot in predsednik RZS Zoran Janković položila temeljni kamen bodoče športne dvorane pod Golovcem, ki se je kasneje po pokrovitelju Pivovarni Laško preimenovala v dvorano Zlatorog. Otvoritev dvorane je bila 21.12.2003 na nepozabni tekmi s španskim Ademar Leónom. Že čez en mesec (januarja 2004) so bili Celjani gostitelji in skupaj z RZS organizatorji do sedaj največjega rokometnega tekmovanja v Sloveniji – evropskega prvenstva za člane EURO 2004. Vodilni klubski delavci so skupaj s številnimi prostovoljci v dvorani Zlatorog vodili organizacijo predtekmovalne skupine C in glavni del, skupina I. Po oceni vodstva EHF jim je to uspelo najbolje!
Navijačem in ljubiteljem celjskega rokometa ostaja dvorana Zlatorog v nepozabnem spominu predvsem po zaključnih tekmah Lige prvakov v do sedaj najuspešnejši klubski sezoni 2003/04, največje slavje pa so doživeli na prvi tekmi finala Lige prvakov v nedeljo, 18.4.2004 in čez en teden po prihodu evropskih prvakov 2004 iz Flensburga ter veličastnem sprejemu okoli 20.000 navijačev pred dvorano Zlatorog.
