In 1698 kwamen Den Grooten Sot en ‘t Brantijser in het bezit van de abdij van Tongerlo. Dat is verrassend: wat had een norbertijnenabdij in de rustige Kempen, vijftig kilometer ten oosten van Antwerpen, te winnen bij een patriciërswoning in de drukke havenstad? 

 Het antwoord lijkt vanzelfsprekend. Het waren beroerde tijden, er hing oorlog in de lucht. Abdijgemeenschappen wilden binnen stadsmuren beschikken over een veilig refugehuis: wanneer vijandige troepen hun abdij bedreigden konden ze daar naar uitwijken. In werkelijkheid kwam de abdijgemeenschap van Tongerlo hier nooit als groep 'refuge' zoeken. Wel brachten enkele paters er waardevolle kunstwerken en archiefdocumenten in veiligheid in de jaren 1740, toen Frankrijk het land bedreigde. 

Het refugehuis lijkt vooral te hebben gediend als een luxueus pied-à-terre voor de abt. Als hoofd van een van de grootste abdijen van het land was hij een man van aanzien. Hij kwam regelmatig naar Antwerpen voor overleg met de bisschop en met bankiers. De kantoren werden dan weer gebruikt door een provisor, die de talrijke abdijgronden in dit deel van het land beheerde. Paters van Tongerlo overnachtten hier wanneer ze een geneesheer in de stad bezochten. Regelmatig bood het huis logies voor hoge gasten en hun gevolg. De aankleding van de vertrekken was dan ook luxueus. Dat blijkt uit het nog bewaarde stucwerkplafond in deze vergaderzaal. 

Aan die al bij al rustige jaren kwam brutaal een einde in 1794. Toen besliste het Franse revolutionaire bezettingsleger om het huis te gebruiken als militair hospitaal. En in 1798 nam de Franse republiek alle bezittingen van de abdijen in het land in beslag. Voorbij was de tijd van het mooie refugehuis.