Het pand werd vanaf 1554 bewoond door stadsdienaren en kasteleins. "Kastelein" was de oude middel-nederlandse benaming voor de bewoner van een kasteel of fort. De functie van stadskastelein was een combinatie van rentmeester, directeur van gemeentewerken en gemeentesecretaris.


In 1721 wordt het raadhuis nagenoeg volledig vernieuwd en in 1791 werd de gevel aangepast. De gedetailleerde tuitgevel maakt daarbij plaats voor de huidige strenge classicistische architectuur.

Deze stijl vinden we ook terug in de architectuur van het Burgerweeshuis.

In een boek van F.J. Kleijn uit 1873 beklaagt de schrijver zich over de wansmaak van de 'Heeren Regeerders en Bouwmeesters in die dagen, waardoor een fraai gebouw werd misvormd.
Moge spoedig een ander Raadhuis verrijzen.' Deze wens van de heer Kleijn is niet uitgekomen..

Na de annexatie door Roterdam in 1886 verloor het raadhuis haar functie en bood het pand vervolgens onderdak aan de politie en het bureau Oudheidkundig Onderzoek (BOR). Bij een restauratie in 1970 woerdt de pleisterlaag verwijderd en kreeg de gevel zijn huidige vorm. Na het vertrek van het BOR in 1994 ging men op zoek naar een geschikte huurder voor het pand. Harry van der Wiel, een befaamde Rotterdamse horecaondernemer had een schitterend idee: een bierbrouwerij. Bierbrouwerij De Pelgrim opende op 9 mei 1996 haar poorten. Meer hierover is te vinden op de website:Stadsbrouwerij de Pelgrim



De kerk op deze foto is de Pelgrimsvaderskerk