Leta 1941 so grad zasedli Nemci, ki so v njem ustanovili prehodno zbirno taborišče za zavedne Slovence, ki so bili določeni za izselitev iz Spodnje Štajerske, ki je delovalo do ukinitve 12. marca 1943.
Gestapovski zapori so bili najprej v grajskih hlevih, nato pa na samem gradu. Na gradu so bile tudi mučilnice, kjer so jetnike pretepali in drugače mučili. Na Borlu je bilo dnevno do 300 političnih ujetnikov, vsega skupaj pa jih je bilo zaprtih nekaj tisoč. Politični jetniki so bili na gradu zaprti več tednov ali celo mesecev, preden so jim nacisti izrekli kazen – smrt med talci ali odhod v koncentracijsko taborišče. Po zbranih podatkih so nacisti v letih 1941 in 1942 44 borlskih jetnikov obsodili na smrt, večino jetnikov pa so poslali v koncentracijska taborišča, največ v Mauthausen, Auschwitz in Dachau, od koder se jih je le malo vrnilo. Nemci so z gradu odstranili tudi vse priče njegove bogate preteklosti, tako grajsko opravo, opremo, slike, knjižnico in arhiv.
