Verscholen tussen de bomen liggen de ruïnes van wat ooit het Hof van Herent (Castellum de Herent) was. Het kasteel is ons alleen bekend door een gravure die Jacob Harrewijn er in 1696 van maakte. Het was de verblijfplaats van de opeenvolgende Heren van Herent. De laatst bekende familie waren de Heren Van Spanghen (tot aan de Franse Revolutie). Hun arduinen wapenschild lag tot voor kort voor de ingangsdeur van het huidige gebouwtje, maar is blijkbaar spoorloos verdwenen.
Alleen de sporen van een slotgracht verwijzen nog naar de oorspronkelijke toestand. Het kasteel werd in de 18de eeuw afgebroken. In 1817 bestonden nog alleen de stallingen, die in 1862 eveneens gesloopt werden. De huidige naam d'Hooghvorst verwijst naar baron Emmanuel Van der Linden-d'Hoogvorst, die in 1830 als lid van het Voorlopig Bewind en inspecteur-generaal van de burgerwacht een belangrijke rol speelde bij de Belgische Onafhankelijkheid en die toen eigenaar was van het goed. Tijdens de veldslag van de Roeselberg in augustus 1831 bracht koning Leopold I de nacht door op het kasteel.
