Wenige Meter östlich des Rathauses befindet sich das „Haus des Gastes“ mit seiner wechselvollen Geschichte.
Grabungsfunde aus dem Jahr 1982 legen Teile eines älteren massiven Steinbaus aus dem 13./14. Jahrhundert im Inneren des Vorderhauses frei. Zusammen mit der „Alte Waage“ und dem Rathaus bildet das „Haus des Gastes“ ein repräsentatives mittelalterliches Bauensemble an der nördlichen Seite des Marktplatzes. Das Gebäude dürfte als Gilde- beziehungsweise Zunfthaus und später als Ackerbürgerhaus gedient haben. Die in der Front hervorgehobene Jahreszahl 1571 mit Wappenschild weist möglicherweise auf eine öffentliche Nutzung als Münze oder auf den Wiederaufbau nach einem der vielen Stadtbrände hin. Im Jahre 1769 befindet sich das Haus im Eigentum der Familie Ludovici (Anbau des hinteren Fachwerkgebäudes) und wird wirtschaftlich genutzt (Scheune, Schweine- und Schafstall im hintern Hofbereich). Friedrich Eisenele und seine Frau Josepha, geb. Brüning erwerben das Gebäude schließlich und bauen im Jahr 1820 die noch bis heute erhaltene klassizistische Vorderfront. 1893 wird der jüdische Kaufmann Salomon Lobbenberg Eigentümer des Hauses und veräußert es 1897 an den Kaufmann Meyer-Rothenberg. Die alte Markise seines Ladens für „Manufakturwaren & Confection“ ziert heute den kleinen Saal im hinteren Teil des Gebäudes. Im Zuge der Judenverfolgung in Deutschland beginnt ab 1943 die Enteignung des jüdischen Eigentums, so dass 1944 die Eigentumsübertragung auf die Stadt Brakel erfolgt. Nach der Rückgabe des Eigentums an den einzigen Überlebenden der jüdischen Familie im Jahr 1981, wird das Gebäude durch die Stadt Brakel erworben und umgestaltet. Heute befinden sich im „Haus des Gastes“ die städtische Tourist Information, das Trauzimmer, Schulungsräume der Volkshochschule und des Jugendmusikwerkes sowie das Stadtmuseum Brakel.
