Irmina družina Pongratz izvira iz avstrijske Štajerske, kjer se omenja že v 18. stoletju. Prvi v slovenski veji je Markus Pongratz (1778–1869), poročen s Franzisko Kollegger (1795–1871) – Irmina pradedek in prababica. Najprej sta živela na gospoščini Zbelovo, ok. 1825 pa sta se preselila v Slovensko Bistrico, kjer je bil Markus posestnik in upravitelj veleposesti plemiške družine Attems.
V zakonu se jima je rodilo devet otrok, šest hčera in trije sinovi. Sinovi Gvidon (1822–1889), Friedrich (1818–1876) in Oscar (1826–1892) so se ukvarjali s trgovino, odvetništvom, bančništvom, gradbenimi posli in rudarstvom. Gvidon in Friedrich sta bila leta 1875 povzdignjena v plemiški naziv vitez, s čimer sta pridobila pravico prenosa plemiškega naziva na svoje potomce. Oscar je bil leta 1890 povzdignjen v plemiški naziv edler (Rugale, Preinfalk, 2012, str. 164).
Gvidon je bil uspešen gradbenik in industrialec (poročen z Jeanette Martinčič, hčerjo ljubljanskega trgovca in fužinarja Josipa Martinčiča). Leta 1857 je skupaj z bratoma v Zagrebu ustanovil podjetje Gebrüder Pongratz, ki se je ukvarjalo z različnimi gradbenimi posli (kaznilnica v Lepoglavi, splošna bolnišnica ter cerkev sv. Petra v Zagrebu, pristaniški objekti v Trstu in Reki, vodovod v Gradcu …) in tudi z gradnjo železniških prog (gradilo je tudi železniško progo Pragersko–Velika Kaniža in tako leta 1860 železno cesto pripeljalo tudi v Ormož). Gvidon se je uveljavil tudi v industriji. Leta 1869 je ustanovil prvo hrvaško tovarno usnja, ki se je razvila v eno največjih usnjarskih industrij v monarhiji. Bil je tudi lastnik rudnika Vrdnik v Srbiji, tovarne parketov in parne žage v Zagrebu ter ustanovitelj Hrvatske eskomptne banke (1868). Gvidon je imel v lasti tudi obširna posestva, gradove ter številne vile (med drugimi vilo Zora na Bledu). Leta 1862 si je v Visoki ulici v Zagrebu postavil imeniten dvorec – danes je v njem Državna rezidenca Republike Hrvaške (Rugale, Preinfalk, 2012, str. 168).
Friedrich je kot uspešen pravnik pomagal pri delovanju podjetja. V lasti je imel tudi več premogovnikov na Hrvaškem ter podjetja za kopanje rjavega premoga.
Oscar (Irmin dedek) je imel odvetniško pisarno v Ljubljani, ki se je ukvarjala predvsem z gospodarskimi zadevami. Leta 1856 se je poročil z Marijo Maurer, edino hčerjo podjetnika Franza Maurerja, lastnika premogovnika Trbovlje. S poroko je postal solastnik trboveljskega rudnika. Leta 1861 je ob novozgrajeni železniški progi Pragersko–Čakovec odprl še premogovnik Dolenje Ladanje pri Maruševcu ter v naslednjih letih veliko sodeloval z bratom Gvidonom pri njegovih gradbenih poslih. Z vsem tem si je ustvaril veliko premoženje. Kupil je gradove Polzela, Dornava, Maruševec, Kalenec in obsežne vinograde v Svetinjah pri Ormožu. Bil je tudi lastnik številnih zgradb v Ljubljani, med drugim tudi Cukrarne (Husu, 2020, str. 188).
V zakonu Oscarja in Marije Pongratz (roj. Maurer) se je rodilo šest otrok, dva sinova in štiri hčere. Sin Oscar ml. (1859–1945, poročen s Floro-Elzo Matildo Warren-Lippitt) je bil oče Irme Pongratz (1886–1970), zadnje ormoške grofice, hči Flora Pongratz (Irmina teta, 1861–1941, poročena s Paulom Wurmbrandom-Stuppachom), pa je bila mati Wilhelma Wurmbranda-Stuppacha (1884–1914) – ta je leta 1908 sklenil zakonsko zvezo s svojo sestrično Irmo Pongratz (Hartman, Kaučič, 2020, str. 7–8).
Irmin oče Oscar Pongratz ml. je po svojem očetu podedoval dvorec v Maruševcu ter premogovnik Dolnje Ladanje, s poroko s Floro Lippit pa si je pridobil še grad Pernegg v Avstriji. Družina je nekaj časa imela v lasti tudi Mali grad na Ptuju.
