Zgodovino gradu delimo na čas srednjeveške utrdbe in na obdobje od izgradnje renesančno utrjene grajske arhitekture v 16. stoletju do danes.
Brežice so bile v srednjem veku eno izmed središč salzburške posesti v Posavju. Grad se prvič omenja v virih leta 1249, že leta 1252 je v Brežicah izpričana kovnica denarja, leta 1268 pa je grad imel sodno pravico nad svojimi podložniki. Kot upravniki posesti salzburških škofov so se na gradu skozi srednji vek izmenjali številni plemiči. Leta 1479 je nadškofija Salzburg grad izročila ogrskemu kralju Matiji Korvinu, leta 1491 pa je grad postal del deželnoknežjih posesti.
Srednjeveški grad, ki je bil zelo poškodovan zaradi posledic kmečkega upora 1515, so po ukazu cesarja Ferdinanda porušili do leta 1530 in takoj začeli z izgradnjo novega. Za zidavo današnjega gradu, ki je trajala do leta 1601, so še posebej zaslužni celjski videdom Ludvik Ungnad med 1563 in 1573, družina Gall, ki je bila zakupnik gradu med 1574 in 1585 in med leti 1586 in 1604 tudi njegov lastnik. Najpomembnejši pečat gradu pa je dala grofovska družina Attemsov, ki je bila lastnica gradu od leta 1694 do zadnje svetovne vojne. Danes je v gradu Posavski muzej Brežice.
Srednjeveški grad, ki je bil zelo poškodovan zaradi posledic kmečkega upora 1515, so po ukazu cesarja Ferdinanda porušili do leta 1530 in takoj začeli z izgradnjo novega. Za zidavo današnjega gradu, ki je trajala do leta 1601, so še posebej zaslužni celjski videdom Ludvik Ungnad med 1563 in 1573, družina Gall, ki je bila zakupnik gradu med 1574 in 1585 in med leti 1586 in 1604 tudi njegov lastnik. Najpomembnejši pečat gradu pa je dala grofovska družina Attemsov, ki je bila lastnica gradu od leta 1694 do zadnje svetovne vojne. Danes je v gradu Posavski muzej Brežice.