In de jaren zestig van de vorige eeuw kampte het Provinciaal Genootschap van Kunsten en Wetenschappen in Noord-Brabant met ruimtegebrek: hun gebouw aan de Papenhulst was veel te klein. Na onderhandelingen met de gemeente werd in 1867 besloten dat de stad de bestaande Boterhal zou voorzien van drie extra verdiepingen. Dit zou dan 'een geschikt gebouw voor de boekerij en ter berging van de verzamelingen van oudheden, munten en penningen zijn'. De gemeente zou de kosten voor haar rekening nemen, terwijl het Genootschap voor een versiering van het gebouw zorg zou dragen. Hierover werd in de jaarvergadering van het Genootschap op 9 juli 1868, toen het gebouw bijna klaar was, van gedachten gewisseld. „Zullen in het frontspice emblemas worden geplaatst met het beeld van Minerva, of zal het stadswapen met de Boschjesmannen beter voldoen?” De discussie ging verder: zouden er wel voldoende Brabantse geleerden zijn? En zouden de beelden van metaal, van steen of van terra cotta vervaardigd moeten worden?

Op 15 oktober 1868 was de bouw klaar en kon het Genootschap boven de Boterhal intrekken. De versieringen waren nog niet gereed; weliswaar waren er op een balustrade op de voorgevel enige vazen aangebracht, de andere versieringen, de portretten, waren er nog niet; zo meldt ons het gemeenteverslag over 1868. Later zijn deze portretten er gekomen, zeven in getal, die vanaf hun hoge plaats van dit enorme gebouw over de Bossche huizen uitkeken. Wie het precies waren? We hebben het niet kunnen traceren in de jaarverslagen van het Genootschap.

De bestuurders van het Genootschap waren vanzelfsprekend zeer tevreden over hun riante huisvesting, zo midden in de stad. Dat daarmee een middeleeuws gebouw zeer aangetast werd, daarover vinden we in hun archieven niets meer terug. Trouwens, was deze huisvesting wel zo riant? Het Genootschap vertrouwde de middeleeuwse bebouwing niet erg zeker niet toen het aantal boeken maar bleef groeien. Het gevolg was dat enige jaren later de bovenverdieping werd verstevigd en zowel op de begane grond als in de kelder versterkingen werden aangebracht. Het bestuur was bevreesd 'om den een of anderen dan onder de geleerdheid begraven te worden'.

Het Provinciaal Genootschap ontving in 1923 een legaat van 111.000 gulden. Daarmee kon zij een nieuw gebouw tot museum en bibliotheek inrichten. Want inmiddels was de huisvesting te klein geworden. Men vertrok naar de Bethaniestraat. De Boterhal bleef nog even in functie. Maar trok later naar de kelders onder het stadhuis. In mei, juni 1932 werden de Lakenhal, Vleeshuis, Boterhal en de opbouw van het Genootschap gesloopt. De portretten leken verdwenen, maar thans blijkt dat er twee toch een plaatsje gevonden hebben in een achtergevel aan de Vughterstraat.