Bygningen menes at stamme fra 1753, hvor byforsamlingen besluttede at opføre et hus, der skulle rumme en smedje og et materielhus for havnegrej. Det er dermed, sammen med beghuset, havnens ældste bygning. I 1810 havde bygningen fået sin nuværende størrelse.
Huset har ud over smedje været brugt til havnekontor, rådstue samt indtil 1915 som byforstanderskabets mødelokale. Desuden har huset været brugt som pakhus for bjergningsmateriel og for bjerget gods.
Den snoede skorsten stammer fra slutningen af 1800-tallet. Det er en populær skrøne, at den er snoet for at undgå, at nysgerrige lyttere skulle kunne kravle op på taget og høre og se, hvad der foregik i 'byens hus' under møderne.
Bygningen blev indrettet til museum i 1932, hvor den blev restaureret og et par småbygninger på sydsiden blev fjernet.
