V drugi polovici 16. stoletja so grajsko stavbo zaradi grozeče turške nevarnosti na novo utrdili. Za topovsko obrambo so usposobili z mogočno eskarpo utrjen južni plato, zgradili kazemate, okrepili obzidje, dostop do grajskega jedra pa zavarovali s tremi portali: severnim in južnim Karlovim portalom ter Peruzzijevim portalom.