1803 ägde John Lyon de avbrunna tomterna på nuvarande Kungsgatan 41. Ett nytt tvåvåningshus stod klart 1805 och såldes 1814 till Bachelors club.
1842 köptes huset av Bengt Erland Dahlgren, bror till Fredrik August Dahlgren, medlem av Svenska Akademien, som skrev Å jänta å ja och skådespelet Wermlänningarne.
26 av de förnämsta målningarna och två skulpturer ur hans konstsamling donerades till Göteborgs museum plus 250 000 kronor, motsvarande 45-50 miljoner kronor i dag. Fondens avkastning har stått för merparten av konstmuseets inköp från 1881 till i dag.
Huset såldes 1877 till Julius Lindström. Pariserljuskronorna av kristall och förgylld brons köptes av Börsen, där de än i dag kan beskådas. Snushandlare Lindström gjorde 1884 en stor om- och påbyggnad med Victor Adler som arkitekt.
1905 blev järnhandlare Nyberg ny ägare. I övervåningen finns mycket av den praktfulla inredningen bevarad.
