1492 in der Nähe des Schlosses errichtet, war das Brenyhaus ursprünglich ein städtischer Adelssitz, bestehend aus Palas, Turm und Verbindungstrakt. Die adelige Familie von Hohenlandenberg erbaute und bewohnte ein halbes Jahrhundert das mächtige Bauensemble und lenkte in dieser Zeit die Geschicke der Stadt. Sie verfügte über ein Netzwerk, das weit in den ostschweizerischen und süddeutschen Adel reichte.
Später befand sich das Haus mit seinem 29 Meter hohen Wohnturm im Besitz der Familie Göldlin von Tiefenau, die während der Reformationszeit aus Zürich eingewandert war. Ihrem Kunstsinn sind einige herausragende historische Objekte zu verdanken, die heute in Museen in Rapperswil, Zürich und Aachen aufbewahrt werden.
Aus privater Hand ging das Gebäude im 20. Jahrhundert in den öffentlichen Besitz der Ortsgemeinde Rapperswil über und wurde als Heimatmuseum und nach einer Neuausrichtung ab 2012 als Stadtmuseum geführt. Museumsleiter Mark Wüst schildert die Geschichte dieses Hauses und thematisiert die facettenreichen Biografien seiner Bewohner und Bewohnerinnen.
Denkmalpfleger Moritz Flury-Rova würdigt das Bauensemble aus kunsthistorischer Sicht und erläutert dessen Baugeschichte. Bemerkenswert ist, dass sich nicht nur das äussere Erscheinungsbild, sondern auch die innere Struktur der Bauten erstaunlich gut erhalten haben. 2011 wurden die beiden Gebäude durch einen modernen Zwischentrakt mit einer Fassade aus gelochter Baubronze ergänzt. Andreas Frank, Co-Architekt des Neubaus, beleuchtet Konzept und Ausführung dieses zeitgenössischen Baukörpers, der die Historie mit der Gegenwart auf einzigartige Weise verbindet.