Nadat de gendarmerie vertrok, werden Den Grooten Sot en 't Brantijser volledig verbouwd en heringericht. Doel? Een geschikte omgeving creëren voor de school en het internaat van het stedelijk atheneum. Niemand minder dan Pierre Bourla, op dat moment stadsbouwmeester, tekende hiervoor de plannen uit. Het Atheneum bleef groeien en wegens plaatsgebrek verhuisde het in 1884 naar een gloednieuwe locatie op de Rooseveltplaats. Daar bevindt het zich nog steeds.

De stad besliste dat 't Brantijser dan maar als stadsmagazijn gebruikt moest worden en dat Den Grooten Sot tijdelijk een onderkomen kon bieden aan het conservatorium, toen met Peter Benoit als directeur. De verbouwingen onder leiding van stadsarchitect Gustaaf Royers waren dit keer minimaal: schoorstenen werden schoongemaakt, ruiten en deuren werden hersteld en de klassen kregen een likje verf. Het grootste werk was de bouw van de concertzaal, die op de plaats van de voormalige studiezaal kwam.‘

'Tijdelijk onderkomen’ bleek trouwens een relatief begrip: het conservatorium bleef hier tot 1968 en in 1980 vond het onderdak in wat nu deSingel is.