Nel XVI secolo la permanenza dei monaci nel monastero fu interrotta più volte a causa delle devastazioni prodotte della peste in Istria. Nel XVII secolo, Valdoltra era un luogo di villeggiatura molto amato dai monaci, ivi soggiornarono anche personalità di spicco. Il monastero fu de definitivamente abbandonato dai Benedettini nel XVIII secolo. Uno dei possibili motivi può essere
ricondotto allo sfortunato evento occorso ad una nave di Benedettini proveniente da Venezia e diretta a Valdoltra. Questa fu colta da una tempesta e molti monaci non sopravvissero al disastro. L’infausto evento fu interpretato come una punizione di Dio e i monaci non vollero più ritornare nel luogo funesto. Il secondo motivo fa riferimento all’anno 1770, quando la Repubblica di Venezia rafforzò il controllo e la pressione sul monastero veneziano di Lido e sui suoi possedimenti in Istria.
In quell’anno i Benedettini abbandonarono il complesso monastico con ampie pertinenze di terreni coltivati. La partenza dei monaci colpì fortemente gli abitanti del circondario, poiché i primi dispensavano il loro aiuto e il loro conforto ai secondi, oltre alle conoscenze in medicina.