Das Gründungsjahr ist nicht genau belegbar. Es wird aber auf ca. 1400 geschätzt. Etwa in dieser Zeit ist das Lehngut in den Besitz der Familie OEHMICHEN gekommen. Der Richter ABRAHAM OEHMICHEN hat im Jahr 1617 bei einem Gerichtstag in Olbernhau erklärt, dass seine Vorfahren "hier zum Olbernhau ein frei Lehngericht, samt allen Gerechtigkeiten und Freiheiten gehabt haben". So wird es in der Pinderschen Chronik der Kirchfahrt Olbernhau berichtet. 

Während des 30-jährigen Krieges wurde das Lehngut am 7. Mai 1639 von den Schweden niedergebrannt. Nach 1648 wurde der Gebäudekomplex auf den alten Gründungen wieder errichtet. Am 20. Oktober 1654 wurde das Lehngut  durch Kurfürst Johann Georg II. in den Stand eines Rittergutes erhoben.

Weitere Eigentümer des Rittergutes waren:

  • 1698 - 1741   Carl Gottlob von LEUBNITZ (geb. 1667, gest. 1741)
  • 1741 - 1746   Friedrich Gottlob von LEUBNITZ (Sohn von oben)
  • 1746 - 1749   Johanna Sophie von LEUBNITZ, geb. Schauroth (Mutter von oben)
  • 1749 - 1766   Johanna Caroline TUGENDREICH VON METZRATH (Enkelin von oben) gest. 1766
  • 1766 - 1811    Johann Adolf von LOSS  geb. 1731, gest. 1811 (Ehemann von oben)
  • 1811 - 1827    Johann Adolf von LOSS jr. (Sohn von oben)
  • 1827 - 1860  Oberjägermeister Wilhelm Bogislaw Graf von KLEIST (Schwiegersohn von oben)
  • 1860 - 1873   Kammerherr Bogislaw Adolf Leopold von KLEIST
  • 1873 - 1888    Carl Alexander von SCHÖNBERG
  • 1888 - 1933    Firma A.F. Lange, Kupferhammer Grünthal
  • Am 17. Juli 1933 kauft die Stadt Olbernhau das Rittergut

Am 2. November 1767 wird im Rittergutshof eine "Hatz" auf Füchse und Wildschweine durchgeführt. Durch einen unvorsichtigen Schuss fing das Schindeldach des Herrenhauses Feuer und brannte ab. Die Gebäude wurden danach auf den heutigen Standpunkt zurückgesetzt, um den Marktplatz zu erweitern.

Am 2. April 1935 wird die Altertümersammlung des Erzgebirgszweigvereins (EZV) Olbernhau im Rittergut durch Oberlehrer i.R. Max LICHTENBERGER eröffnet. Max Lichtenberger ist auch als erster Leiter der Sammlung verpflichtet worden.

Im Zeitraum 1945 bis 1990 wurden die Gebäude des Rittergutes genutzt (Kinderhort, Haus der Heimat, Waschstützpunkt usw.)

Im Zeitraum von 1992 bis 2008 wurde das Areal schrittweise zum kulturellen Zentrum der Stadt ausgebaut.