Gostilna je ime dobila po prvem lastniku Andreju Bergantu, ki je bil zelo resen mož in so mu zato rekli »pustež«. Dovoljenje za obratovanje gostilne, ki je bila locirana na dnu Pepetovega klanca, je dobil leta 1871. V gostilni ga je nasledila nečakinja Jerica Štrekelj, ki je slovela po kuhanju golaža in vampov. Vanjo so ob nedeljah in praznikih radi zahajali kmetje s hribov. Po vojni je bila gostilna nacionalizirana, a ker je imela veliko tradicijo, je še naprej obratovala, zadnja leta sicer pod okriljem Krone. Leta 1978 je gostilna zaprla svoja vrata.
Pavle Hafner je zapisal: »Škoparjev ata iz Puštala se je včasih zasedel tako dolgo, da ga ni bilo na kosilo. Njegova dobra žena mu je kosilo nosila kar k Pustežu v vežo.«
Tu so Puštuci sedeli cel dan in se pogovarjali o Ločanih in Puštalcih. Debata je bila vedno zelo glasna, kot da bi se kregali. Takoj za vrati v veži je bila miza, za katero sta sedela Liznkov Johan iz Puštala in Škoparjev ata. Hrana je bila tu domača. Specialiteta so bili vampi in golaž oziroma »malo mešano«. (po pripovedovanju starih Ločanov zapisala Ana Marija Miklavčič)
»Puštuci so zahajali k Pustež. Veljal je rek: »Gostilna lahko preživi od sedmih zvestih strank.« Moški so hodili sem na pijačo po deseti maši. Jaz sem hodil sem z očetom in sestro na kokto ali kraherle. Moški so kljub temu, da so doma imeli kosilo, v gostilni naročili vampe, golaž ali mešano.« (po pripovedovanju Ceneta Božnarja zapisala Ana Marija Miklavčič)
