Het pand werd vanaf de bouw in 1554 bewoond door stadsdienaren en kasteleins. "Kastelein" was de oude middel-nederlandse benaming voor de bewoner van een kasteel of fort. De functie van stadskastelein was een combinatie van rentmeester, directeur van gemeentewerken en gemeentesecretaris.

Het Stadthuis te Delfshaven in 1667. Een stukje uitdeze geweldige prent van Coenraet Decker.

In 1721 werd het raadhuis nagenoeg volledig vernieuwd, ongeveer gelijktijdig met de grote verbouwing van de Oude Kerk, een paar meter verderop aan de Kolk. Het betrof vooral de binnenstructuur. In 1791 werd ook de gevel aangepast. De fraai gedetailleerde tuitgevel werd tot aan de goot toe afgebroken. Daarvoor in de plaats kwam een houten lijst. Het nieuwe, lagere dak kreeg twee dakkapellen. De voorgevel werd bepleisterd en de middeleeuwse ramen en deuren maakten daarbij plaats voor de huidige strakke neoclassicistische stijl. Deze stijl vinden we ook terug bij het Burgerweeshuis.

Geschiedschrijver F.J. Kleijn geeft in zijn boek Beschrijving en Geschiedenis van Delfshaven uit 1873 in het hoofdstuk 1791 - Vernieuwing van de Raadhuis zijn ongezouten mening over deze verbouwing, hoogst waarschijnlijk gebaseerd op de bovenstaande afbeelding van het Raadhuis.

Na de annexatie door Roterdam in 1886 verloor het raadhuis haar functie en bood het pand vervolgens onderdak aan de politie en het Bureau Oudheidkundig Onderzoek Rotterdam (BOOR). Bij een restauratie in 1970 werdt de pleisterlaag verwijderd en kreeg de gevel zijn huidige vorm. Na het vertrek van het BOOR in 1994 ging men op zoek naar een geschikte huurder voor het pand. Harry van der Wiel, een befaamde Rotterdamse horecaondernemer had een schitterend idee: een bierbrouwerij. Bierbrouwerij De Pelgrim opende op 9 mei 1996 haar poorten. Meer hierover is te vinden op de website: Stadsbrouwerij de Pelgrim.

Eerlijk is eerlijk, het voormalige Delfshavense Raadhuis heeft er wel eens minder florissant bij gestaan...

De kerk op deze foto's is de Pelgrimvaderskerk