Wat vandaag in de volksmond het “kasteel van Grobbendonk” wordt genoemd, betreft eigenlijk het voormalige “neerhof” van het kasteel, zoals duidelijk te zien op de gravure uit Le Roy van 1696. Het kasteeldomein werd gevormd door een waterburcht (het opperhof) vooraf gegaan door een hoeve (het neerhof) en was gesitueerd op een goed verdedigbare plaats genaamd Grobbendonk, wat “verheven plaats tussen twee waterlopen” betekent. De oudste vermelding van de toenmalige heren van Grobbendonk als eigenaars van het waterkasteel gaat terug tot de 12de en 13de eeuw. Op het einde van 15de eeuw werd de versterkte burcht verbouwd tot een fraai kasteel in Vlaamse renaissancestijl. Geldproblemen noopten de heren van Grobbendonk echter tot de verkoop van de kasteelsite en de heerlijkheid Ouwen aan koopman Gaspar Schetz in 1545. Het feit dat het kasteel tot tweede verblijfplaats degradeerde, maar ook in de 16de en 18de eeuw door Spaanse en Franse troepen vernield werd, werkte toenemend verval in de hand. Reeds in 1755 startten de eerste afbraakwerken. Het kasteel was volledig verdwenen in het begin van de 19de eeuw. Via vererving kwam het kasteeldomein en zijn aanhorigheden in 1617 in handen van de familie d'Ursel die het thans overblijvende neerhof als hoeve verpacht. Vanaf de straat is de hoeve bereikbaar via een lindedreef met vrij recente kapel bij het begin. Het U-vormige complex in traditionele bak- en zandsteenstijl wordt gedomineerd door een imposant poortgebouw en de ronde hoektorens. Het neerhof gaat minstens terug tot de 16de eeuw maar werd meermaals aangepast en verbouwd. Hiervan getuigen de vele bouwnaden en gewijzigde muuropeningen.