Draneški gospodje so imeli Borl v lasti v 12. stoletju, o čemer priča njihov grb, srebrno narobe obrnjeno sidro v rdečem polju, nemško Anker, kar vzbuja asociacijo z nemškim poimenovanjem gradu Ankenstein. Ta grb so nato leta 1294 vzeli za svojega Ptujski gospodje, ko so postopoma dobili v svoje roke posesti Draneških gospodov. V rokah mogočnih gospodov Ptujskih je Borl ostal vse do leta 1438, ko je rodbina v moški liniji s Friderikom IX. izumrla.