Avgusta 1953 je po končani obnovi v dvorcu Viltuš zaživel dom za starejše oziroma oskrbovance. Adaptacijska dela so se začela v aprilu 1953. Po zaključku v avgustu istega leta je bilo za oskrbovance na voljo 54 sob, razporejenih v dveh nadstropjih.
Po koncu druge svetovne vojne so Viltuš nacionalizirali in v njem že avgusta 1945 uredili dom za invalidne borce NOB. Dvorec je nato služil kot okrevališče pripadnikov JLA. V začetku 50. let 20. stoletja so okrevališče opustili, stavbo pa je prevzelo tajništvo za ljudsko zdravstvo in socialno politiko Okrajnega ljudskega odbora Maribor okolica. Odločili so se, da v Viltušu vzpostavijo dom za starejše in vanj preselijo oskrbovance tedanjega doma na Fali.
Po adaptacijskih delih, ki so se končala v avgustu leta 1953, je bil dvorec prilagojen bivanju starejših oziroma, kot je poročal časnik Večer 24. avgusta 1953, „vsem tistim onemoglim v okraju Maribor-okolica, ki so brez skrbnikov in katerim je stalna zdravstvena in splošna skrb potrebna.” Takrat je veljal za enega najlepših domov v Sloveniji. Uredili so 54 zračnih sob z belo prepleskanim pohištvom ter poleg ostalih higienskih in sanitarnih naprav tudi sodobno kopalnico z mrzlo in toplo vodo. Dom je obdajal park s prostranim sprehajališčem, okolico pa je prav tako lepšal smrekov gozd, ki se je dvigal proti vrhu Kozjaka. Ko je dom v avgustu 1953 začel delovati, je v njem prebivalo 100 stanovalcev. Njihovo število so nameravali z letom 1954 povečati na 180.
Nekaj let po začetku delovanja doma oskrbovancev so se začeli pojavljati pomisleki o tovrstni primernosti dvorca. Lega ob prometnici je namreč onemogočala brezskrbno sprehajanje prebivalcev Viltuša, poleg tega se je lokalnim oblastem zdelo, da bi bil dvorec primernejši za turistične namene. Želeli so ga spremeniti v letovišče, urediti kopališče ob Dravi in zgraditi večjo čolnarno. Kljub zamislim o novi namembnosti Viltuša je dvorec ostal dom starejših oziroma oskrbovancev vse do leta 1989.
Septembra 1970 je podjetje Konstruktor začelo z novo prenovo dvorca Viltuš. Adaptacijska dela so bila obsežna in zahtevna. Ko so vzpostavljali novo vodovodno in centralno napeljavo, so jim težave povzročali zlasti zidovi, večinoma grajeni iz kamna in debeli najmanj 1,5 metra, ter obokani stropovi. Prenovili so večino notranjih prostorov in vso zunanjo fasado. Dela so potekala po navodilih Zavoda za spomeniško varstvo. Stanovalce so za čas trajanja prenove preselili na Pohorski dvor.
Razmere za bivanje v viltuškem domu v Spodnjem Slemenu, ki je po izgradnji Doma upokojencev Danice Vogrinec na Pobrežju v Mariboru leta 1974 postal njegova enota, so se v 80. letih 20. stoletja močno poslabšale. Največja težava je bila močna vlaga, na več mestih je puščala streha, sobe so bile prenatrpane in niso omogočale niti minimalne zasebnosti, oprema dotrajana in nevarna. Pogoji so bili prav tako neustrezni za 43 zaposlenih. Potem ko se je marca 1987 zrušil strop na stopnišču v drugem nadstropju, so morali zaradi varnosti preseliti del stanovalcev. Dvorec je potreboval obsežno sanacijo, s katero pa ga kljub temu ne bi bilo možno obnoviti tako, da bi ustrezal sodobnim smernicam za domovanje starostnikov. Dolgoročna rešitev je bila gradnja novega doma, predvidenega na Taboru v Mariboru. Slednjega so zgradili leta 1989 in vanj novembra istega leta preselili prebivalce Viltuša.
