Prvi zametki gradu so nastali kmalu po letu 1199, ko so gospodje Ptujski sem naselili križniški red. Grad je imel pomembno vlogo pri obrambi takratne vzhodne nemške meje, v začetku 18. stoletja pa tudi v bojih z madžarskimi kruci, ki so pogosto ropali po Murskem polju in Slovenskih goricah. V rokah križniškega reda je ostal do konca druge svetovne vojne.
Prvotna grajska stavba je imela obliko dvo- ali tronadstropnega stolpa (ta se skriva v jugozahodnem delu današnje grajske stavbe). Utrjeni stolp so že kmalu po nastanku povečali z dvonadstropnim prizidkom na njegovi vzhodni strani. V njem je bila verjetno že od začetka urejena dvoetažna grajska kapela. Konec 13. ali na začetku 14. stoletja so na severni strani prizidka zgradili nov prizidek, s čimer je grad dobil podobo kompaktne stanovanjske stavbe s pravokotnim tlorisom. Hkrati ali kmalu po tem so na vzhodni strani temu prizidku dodali še obzidano dvorišče, ki so ga opremili z vodnjakom in dvema ožjima pomožnima poslopjema, prislonjenima na severno in južno stran dvorišča.
Sredi 16. stoletja, v sklopu protiturškega utrjevanja, je bil zgrajen nov pas obzidja, ki je grajsko stavbo obdalo na njeni zahodni in severni strani, obzidje pa zavarovali z obrambnim jarkom, ki je ločil grajski in cerkveni kompleks. Na obeh zahodnih vogalih obzidja so zgradili valjasta stolpa. V severozahodnem stolpu so uredili nov glavni vhod in do njega speljali lesen mostovž z dvižnim mostom. Dva nova valjasta obrambna stolpa so zgradili tudi na vzhodnem grajskem obzidju. Hkrati so prezidali ali na novo zgradili oba pomožna trakta na severni in južni strani dvorišča.
Naslednje večje prenove in razširitve je bil grad deležen med letoma 1612 in 1619, v času komturja (predstojnika viteškega reda) barona Marquarda von Eckh-Hungerspacha. Takrat je nastal zahodni podaljšek severnega trakta. Nanj je bila vzidana heraldična plošča z letnico 1612. Severni in južni trakt so temeljito prenovili, v severozahodnem stolpu pa namestili nov portal z utorom za dvižni most in letnico 1619.
Okoli leta 1675 je grad dobil nov reprezentančni stolpič z uro in čebulasto streho, ki jo kaže Vischerjeva podoba gradu iz leta 1681. Takrat je ob naslonu na notranjo stran starejšega obzidja nastal tudi nov vzhodni trakt z arkadno lopo v pritličju. Vzhodni trakt je bil s stranskim portalom povezan z grajsko pristavo in geometrijsko urejenim parternim vrtom, urejenim na ravnici pod gradom.
Predelave iz prve polovice 18. stoletja (1723–1730) zunanje podobe gradu niso bistveno spremenile. Omejile so se na višinsko izravnavo traktov, na baročno preoblikovanje fasad ter modernizacijo oken in vrat. V tem času so v vzhodnem delu gradu uredili tudi razkošno stopnišče z balustradno ograjo ter temeljito prenovili grajsko kapelo v južnem traktu.
Sredi 19. stoletja so na območju zahodnega obrambnega jarka zgradili obokano klet in obnovili vse zunanje grajske fasade, ki so takrat dobile rustično členitev, kot jo kaže Reichertova podoba iz ok. 1865. V tem času so opustili tudi parterni vrt pod gradom. Leta 1882 je Jakob Brollo, furlanski slikar, imenovan tudi slikar lavantinske škofije, poslikal grajsko kapelo.
Po drugi svetovni vojni je bil grad nacionaliziran in namenjen stanovanjski rabi. Zaradi neustreznega vzdrževanja je stavba precej propadla. Sredi 90. let je grad z denacionalizacijo ponovno prišel v last križniškega reda. Takrat je bil deležen temeljite obnove (ostrešje, fasada). Lastniki so del grajskih prostorov namenili stanovanjski rabi, zgornje nadstropje pa zbirkam ptujskega muzeja. Danes je v gradu na ogled razstava, ki prikazuje zgodovino in društveno življenje kraja in njegove okolice ter bogata etnološka zbirka Pokrajinskega muzeja Ptuj- Ormož.
