Današnji dvorec Viltuš (nem. Wildhaus), ki stoji v Spodnjem Slemenu ob regionalni cesti, ki vodi iz Maribora skozi Selnico ob Dravi na Koroško, je naslednik nekdanjega gradu, ki je bil na strmem pobočju bližnjega hriba zgrajen v 12. stoletju. Do leta 1471 so ga upravljali Viltuški, nato so ga skupaj s posestmi dedovali Auerspergi (Turjaški), leta 1587 pa so postali lastniki Herbersteini. Sedanji dvorec je začel leta 1625 graditi baron Žiga von Herberstein. Končno podobo je dobil na začetku 20. stoletja in postal ena najlepših grajskih stavb tedanjega časa.
Dvorec Viltuš je v svoji zgodovini menjal številne lastnike. Grof Hieronim Starhemberg ga je leta 1681 skupaj z gospoščino prodal grofu Jožefu Rabatti iz znane furlansko-goriške plemiške rodbine, ki se je priselila iz Toskane. Viltuš je v njihovih rokah ostal do leta 1794, ko je za kratek čas postala lastnica Jožefa Strenner. Leta 1798 je lastnik postal viltuški graščak Boštjan Weninger, leta 1808 pa je prešel v last plemičev baronov Lannoy in nato leta 1857 s poroko z njimi povezanih Carnerijev. Vitez Jernej Carneri je leta 1883 svojo posest prodal Jakobu Badlu. Viltuš je lastnika znova menjal leta 1927, ko je prišel v last družine Magerl, ki se je ukvarjala z lesno industrijo. V času okupacije je v dvorcu z družino prebival gestapovec Josef Zangl, ki se je poročil z Magerlovo vnukinjo Adelo, medtem ko je bilo podstrešje preurejeno v gestapovski zapor. Po koncu druge svetovne vojne so dvorec nacionalizirali ter ga leta 1953 spremenili v dom za starejše.
Prvotna podoba dvonadstropne grajske stavbe, kot jo lahko vidimo na Vischerjevi upodobitvi iz okoli leta 1681, je bila skromna. Dvorec je številne predelave in prezidave, ki so vodile do njegovega današnjega videza, doživel v naslednjih stoletjih. V času grofa Antona Rabatte, ki je bil lastnik Viltuša med letoma 1728 in 1776, so osrednjemu gosposkemu poslopju prizidali podolgovat trakt in kapelo, ki je leta 1755 dobila status javne cerkvene stavbe. Večji gradbeni poseg na dvorcu je sledil okoli leta 1800, ko so prezidali osrednjo stavbo. Današnjo podobo je Viltuš dobil na začetku 20. stoletja v času lastnikov Badlov. Prenovitvena dela v tudorskem slogu so se po načrtih graškega arhitekta Hansa Prucknerja začela leta 1903.
Dvorec, ki stoji sredi velikega angleškega parka, sestavlja več stavb, nanizanih v vrsto, in sicer baročna kapela z malim zvonikom, zelo dolga klet s stanovanjskim nadstropjem in tremi mansardnimi čeli ter osrednja gosposka stanovanjska zgradba, ki ima dve nadstropji, razgiban tloris, balkonski vhod in vrh strehe mansardno čelo. Med kletjo in gosposko stavbo stoji štirinadstropni štirioglati stolp s strešnimi ogelnimi stolpiči. Dvorec prav tako krasijo bogata štukatura in lepe okenske obrobe.
Poleg zunanje podobe je bil nekoč impozanten tudi interier. Iz vhodne avle je v nadstropja vodilo mogočno kamnito stopnišče z bogato kovano ograjo. V prvem nadstropju je bila viteška dvorana z zrcalnim neobaročnim rezljanim stropom in marmornim kaminom s stranicama v obliki herm z levjima glavama, v drugem pa „grofičina” soba z zrcalnim stropom, okrašenim z baročnim štukom. Vrata so bila rezljana v neobaročnem slogu, pohištvo izbrano.
Povojne spremembe namembnosti prostorov so dvorec Viltuš oropale nekdanjega blišča. Od leta 1989, ko so ga zapustili zadnji prebivalci doma upokojencev, sameva in propada. Čeprav je bil leta 1999 razglašen za kulturni spomenik državnega pomena, do sedaj ni bilo možno zagotoviti zadostnih finančnih sredstev za celovito obnovo. Da je bil Viltuš nekoč eden najlepših dvorcev na slovenskih tleh, priča samo še okoliški park, za katerega od leta 2015, ko so z Ministrstvom za kulturo sklenili dvoletno pogodbo o vzdrževanju z možnostjo podaljšanja, skrbijo v Turističnem društvu Selnica ob Dravi.
