Největší a všechny ostatní budovy převyšující je Panský dům, resp. Dům správce.

Jeho dnešní střední část dala kolem r. 1560 postavit rodina Uthmannů. Po prodeji huti v roce 1567 kurfiřtu Augustu Saskému užívaly prostory této budovy kurfiřstská rodina a guvernantky během jejich pobytu v huti.

Panský dům byl dvakrát rozšířen. První dvě přestavby v roce 1586 a v roce 1628 nechal udělat kurfiřt Christian I..Dnešní podobu obržel dům v roce 1803.

Budova sloužila jak za kurfiřtského vedení tak i v soukromé režii firmy Sächsische Kupfer- und Messingwerke Franz Adolph Lange a nakonec až do požáru v roce 1964 národnímu podniku Blechwalzwerke (Válcovny plechu) jako správní budova. Poté zde bylo vybudováno 18 bytů.

Za zmínění stojí krásná místnost s křížovou klenbou v přízemí u západního štítu.