Avtor najstarejše znane upodobitve mesta Ormož je avstrijski topograf in kartograf Georg Matthäus Vischer (1628–1696). Naselje se prvič omenja leta 1273 kot Holermus, leta 1331 je dobilo mestne pravice. Mesto je bilo že kmalu obdano z jarkom, nasipom in obzidjem, ki je bilo v Vischerjevem času še ohranjeno. Obzidje je prediralo troje mestnih vrat: na sredi slike so vidna stolpasta zahodna in za njimi vzhodna vrata, levo od njiju pa vrata na severovzhodu mesta, od koder je cesta vodila proti Ogrski. Sredi naselja, levo od zahodnih mestnih vrat, stoji cerkev sv. Jakoba (prvič se omenja leta 1271), desno od njih pa frančiškanska cerkev s samostanom. Za njim je vidna zgradba ormoškega gradu (graditi ga je začel Friderik Ptujski okoli leta 1278).
Frančiškanski samostan in cerkev ob njem je dal postaviti baron Jakob Szekely (ok. 1440–1504). Temeljni kamen zanj so položili leta 1495, gradnja je bila končana leta 1504. Szekely otvoritvene slovesnosti ni doživel, umrl je le pet tednov pred tem. Pokopali so ga v samostanski cerkvi (stala je na mestu, kjer sta danes zgradbi Žigrova ulica 6 in 6a), pod lepim marmornim sarkofagom.
Samostan so od leta 1524 upravljali bosanski frančiškani (pripadal je frančiškanski provinci Bosna Srebrena). Leta 1672 je skupaj z mestom pogorel, a je bil kasneje s podporo celotne province obnovljen. Leta 1784 je bil dodeljen avstrijski provinci, v času Jožefa II. pa ukinjen (1786). Samostanska zgradba s cerkvijo vred je bila leta 1798 prodana za skromnih 2000 zlatnikov in kmalu zatem porušena. Vsi spisi, ki so zadevali skoraj tristoletno delovanje samostana, ter večina opreme iz cerkve, so bili preneseni v varaždinski frančiškanski samostan, tja se je preselil tudi del menihov iz Ormoža.
