Das größte und alle anderen Bauten überragende Gebäude ist das Herrenhaus bzw. die Faktorei.

Dessen heutigen Mittelteil ließ um 1560 die Familie Uthmann errichten. Nach dem Verkauf 1567 an Kurfürst August von Sachsen wurden Räume für die kurfürstliche Familie  und die Hofmeisterin genutzt.

Zweimal wurde das Herrenhaus erweitert. Die ersten beiden Erweiterungen erfolgten 1586 durch Kurfürst Christian I. und 1628, die heutige Bauform erhielt es im Jahr 1803.

Das Gebäude diente sowohl unter kurfürstlicher als auch unter privater Regie der Sächsischen Kupfer- und Messingwerke Franz Adolph Lange und zuletzt bis zum Brand 1964 dem VEB Blechwalzwerk als Verwaltungsgebäude. Danach wurden 18 Wohnungen eingebaut.

Gut erhalten im Erdgeschoss am Westgiebel ist ein mit einem schönen Kreuzgewölbe überspannter Raum.