Huset på Smedjegatan 3 uppfördes efter branden 1753 som inkvartering för garnisonsregementet. Tidigt kom det dock i grosshandlaren Martin Holtermans händer och
donerades till staden som fattigvårds- och arbetsinrättning 1806. "Arbetshuset" ersatte därmed den förfallna in-rättningen i Haga som etablerats 1771.
Sättet att behandla de fattiga kom under 1800-talet att markant skilja sig från det mera humanistiskt intresserade 1700-talet. En kommitté bildades med läkaren Pehr Dubb i spetsen och efter ett regeringsbeslut blev Göteborg först i landet med en arbetsanstalt.
Nu förskrevs att bamhärtighet och förmaningar inte kunde hjälpa de stackars hjonen till ett bättre liv. Plötsligt kunde folk dömas till arbetshus från tre månader till tre år. Under denna tid var hjonen ständigt inlåsta och fick ar-beta för den dagliga födan. Som mest var antalet fattiga, som var intagna i baracken, cirka 500 personer. 1855 flyttades arbetsinrättningen till Drottningtorget och tog med sig namnet Bracka, anspelande på det Holtermanska stenhusets benämning "baracken" .
I huset fanns ett tryckeri på plats före 1900. Från 1920
ingick det i den "Isacsonska tryckerirörelsen".
