Družina Skaza je prišla iz Celja v Šmarje pri Jelšah okoli leta 1800. Georg in Anna Skaza sta kupila posestvo z gostilno na naslovu Šmarje pri Jelšah 20. V zakonu sta se jima rodila dva otroka Franc Jakob in Josefa Anna.
Posestvo z gostilno je po očetu Georgu podedoval Franc Jakob Skaza, rojen 15. februarja 1808, ki si je ustvaril družino z ženo Johano. Posel v gostilni ob pomembni prometni cesti Celje–Šmarje–Rogatec je cvetel. Franc Jakob Skaza je bil izredno narodno zaveden in politično dejaven. V letih od 1845 do 1848 je bil šolski nadzornik šmarske ljudske šole, leta 1850 pa je bil izvoljen za župana v občini sodnega okraja Jelševec. Po smrti okoli leta 1860 je premoženje zapustil svojemu sinu Francu Skazi.