Zgradba, v kateri danes domuje Knjižnica Ivana Potrča Ptuj, sodi med najpomembnejše objekte starega ptujskega mestnega jedra. Markantna renesančno-baročna zgradba ob jugozahodnem obronku grajskega griča je skozi stoletja pomembno oblikovala ptujsko mestno veduto.
Gornji svobodni dvor, danes imenovan Mali grad, se v arhivskih virih prvič omenja leta 1376, vendar so raziskovanja pokazala, da je nastal vsaj stoletje prej, najverjetneje sredi 13. stoletja, v času izgradnje mestnega obzidja. Dvor je imel strateško pomembno lego, saj je z zahodne strani ščitil vhod v ptujsko mestno jedro. V njegovi bližini so se nahajala prvotna mestna vrata, skozi katera je vodila cesta z mostišča v Vičavi v srednjeveško mesto. Po veliki poplavi leta 1348, ki je odnesla stari most na Vičavi in po premiku Drave do podnožja dominikanskega samostana, je Mali grad izgubil svoj strateški pomen. Mestna vrata ob Malem gradu so zamenjala nova na Hrvatskem trgu (današnji Dravski ulici), Mali grad pa se je znašel v ulici, ki je živahen tranzitni promet zamenjala z lokalnim.
Svobodni dvor ali Mali grad pri dominikanskem samostanu na Ptuju je bil v lasti salzburških nadškofov. Ti so ga v fevd podelili gospodom Ptujskim, sicer prebivalcem Gornjega Ptuja, grajske trdnjave na griču nad mestom, ki je po velikosti in pomenu presegala grajske stavbe v mestu in okolici. Gospodje Ptujski so zgradbo Malega gradu potrebovali zaradi naraščajočih administrativno upravnih zadev in zaradi obrambe mesta, v njem pa so stanovali le takrat, ko so se morali umakniti z grajskega griča in odstopiti prostor salzburšemu nadškofu, ko je ta obiskal Ptuj. Dvorec je torej služil tudi za namestitev upravnikov (ministerialov), kadar so prišli na Ptuj lastniki Ptujskega gradu. V zvezi s fevdalno upravno prakso je bil Mali grad sedež upravnega pomočnika ptujskega ministeriala, ki ga je zaradi obsežnosti svojih upravnih nalog nujno potreboval.
Po izumrtju gospodov Ptujskih leta 1438 je Mali grad leta 1441 prišel v posest Schaumbergov, leta 1448 Szekelyjev, od leta 1592 pa so z njim upravljali Indungspeugi. V času od 1633 do 1690 je bil v posesti Herbersteinov, od 1690 do 1740 Wildensteinov, leta 1740 je dvor kupil Hans Jakob Moscon, leta 1773 pa družina Attems. V lasti Attemsov je dvor ostal vse do leta 1901. V najetem dvoru je med letoma 1850 in 1886 uradovalo okrajno glavarstvo. 1901 je dvor od Attemsov kupil Guido Pongratz, ki ga je imel naseljenega s strankami v lasti vse do leta 1941. Med drugo svetovno vojno je bil njegov lastnik Kurt Elsbacher.
Po drugi svetovni vojni je bil dvorec nacionaliziran in namenjen neprofitni stanovanjski rabi. Zaradi neprimerne rabe in slabega vzdrževanja je bila stavba na poti propadanja. V sedemdesetih letih 20. stoletja je bila v občinskih načrtih revitalizacije starega mestnega jedra za Mali grad določena nova namembnost – za zgodovinsko, arhitekturno in urbanistično pomemben stavbni kompleks je bila predvidena celovita prenova za potrebe ptujske knjižnice, ki je takrat domovala v ptujskem minoritskem samostanu.
