Zgradba, v kateri danes domuje Knjižnica Ivana Potrča Ptuj, sodi med najpomembnejše objekte starega ptujskega mestnega jedra. Markantna renesančno-baročna zgradba ob jugozahodnem obronku grajskega griča je skozi stoletja pomembno oblikovala ptujsko mestno veduto.
Gornji svobodni dvor pri dominikanskem samostanu, ki je danes znan pod imenom Mali grad, se v arhivskih virih prvič omenja leta 1376, vendar so raziskovanja pokazala, da je nastal vsaj stoletje prej, najverjetneje sredi 13. stoletja, v času izgradnje mestnega obzidja (ne gre ga zamenjati za Mali grad oz. castrum minus, ki se od leta 1247 dalje večkrat omenja na grajskem griču). Dvor je imel strateško pomembno lego, saj je z zahodne strani ščitil vhod v ptujsko mestno jedro. V njegovi bližini so se nahajala prvotna mestna vrata, skozi katera je vodila cesta z mostišča v Vičavi v srednjeveško mesto. Po veliki poplavi leta 1348, ki je odnesla stari most na Vičavi in po premiku Drave do podnožja dominikanskega samostana, je Mali grad izgubil svoj strateški pomen. Mestna vrata ob Malem gradu so zamenjala nova na Hrvatskem trgu (današnji Dravski ulici), Mali grad pa se je znašel v ulici, ki je živahen tranzitni promet zamenjala z lokalnim.
Gornji svobodni dvor je bil v lasti salzburških nadškofov. Ti so ga v fevd podelili gospodom Ptujskim, sicer prebivalcem Gornjega Ptuja, grajske trdnjave na griču nad mestom, ki je po velikosti in pomenu presegala grajske stavbe v mestu in okolici. Gospodje Ptujski so zgradbo Malega gradu potrebovali zaradi naraščajočih administrativno upravnih zadev in zaradi obrambe mesta, v njem pa so stanovali le takrat, ko so se morali umakniti z grajskega griča in odstopiti prostor salzburšemu nadškofu, ko je ta obiskal Ptuj. Dvorec je torej služil tudi za namestitev upravnikov (ministerialov), kadar so prišli na Ptuj lastniki Ptujskega gradu. V zvezi s fevdalno upravno prakso je bil Mali grad sedež upravnega pomočnika ptujskega ministeriala, ki ga je zaradi obsežnosti svojih upravnih nalog nujno potreboval.
Po izumrtju gospodov Ptujskih leta 1438 je Mali grad leta 1441 prišel v posest Schaumbergov, leta 1488 Szekelyjev, od leta 1592 pa so z njim upravljali Idungspeugi. Leta 1633 so dvor dobili Herbersteini, 1690 Wildensteini, 1740 Mosconi, leta 1773 pa Attemsi. V lasti Attemsov je dvor ostal vse do leta 1901. V najetem dvoru je med letoma 1850 in 1886 uradovalo okrajno glavarstvo. 1901 je dvor od Attemsov kupil Guido Pongratz, ki ga je imel naseljenega s strankami v lasti vse do leta 1941. Med drugo svetovno vojno je bil njegov lastnik Kurt Elsbacher.
Po drugi svetovni vojni je bil dvorec nacionaliziran in namenjen neprofitni stanovanjski rabi. Zaradi neprimerne rabe in slabega vzdrževanja je bila stavba na poti propadanja. V sedemdesetih letih 20. stoletja je bila v občinskih načrtih revitalizacije starega mestnega jedra za Mali grad določena nova namembnost – za zgodovinsko, arhitekturno in urbanistično pomemben stavbni kompleks je bila predvidena celovita prenova za potrebe ptujske knjižnice, ki je takrat domovala v ptujskem minoritskem samostanu.
