Das Gründungsjahr ist nicht genau belegbar. Es wird aber auf ca. 1400 geschätzt. Etwa in dieser Zeit ist das Lehngut in den Besitz der Familie OEHMICHEN gekommen. Der Richter ABRAHAM OEHMICHEN hat im Jahr 1617 bei einem Gerichtstag in Olbernhau erklärt, dass seine Vorfahren "hier zum Olbernhau ein frei Lehngericht, samt allen Gerechtigkeiten und Freiheiten gehabt haben". So wird es in der Pinderschen Chronik der Kirchfahrt Olbernhau berichtet.
Während des 30-jährigen Krieges wurde das Lehngut am 7. Mai 1639 von den Schweden niedergebrannt. Nach 1648 wurde der Gebäudekomplex auf den alten Gründungen wieder errichtet. Am 20. Oktober 1654 wurde das Lehngut durch Kurfürst Johann Georg II. in den Stand eines Rittergutes erhoben.
Weitere Eigentümer des Rittergutes waren:
- 1698 - 1741 Carl Gottlob von LEUBNITZ (geb. 1667, gest. 1741)
- 1741 - 1746 Friedrich Gottlob von LEUBNITZ (Sohn von oben)
- 1746 - 1749 Johanna Sophie von LEUBNITZ, geb. Schauroth (Mutter von oben)
- 1749 - 1766 Johanna Caroline TUGENDREICH VON METZRATH (Enkelin von oben) gest. 1766
- 1766 - 1811 Johann Adolf von LOSS geb. 1731, gest. 1811 (Ehemann von oben)
- 1811 - 1827 Johann Adolf von LOSS jr. (Sohn von oben)
- 1827 - 1860 Oberjägermeister Wilhelm Bogislaw Graf von KLEIST (Schwiegersohn von oben)
- 1860 - 1873 Kammerherr Bogislaw Adolf Leopold von KLEIST
- 1873 - 1888 Carl Alexander von SCHÖNBERG
- 1888 - 1933 Firma A.F. Lange, Kupferhammer Grünthal
- Am 17. Juli 1933 kauft die Stadt Olbernhau das Rittergut
Am 2. November 1767 wird im Rittergutshof eine "Hatz" auf Füchse und Wildschweine durchgeführt. Durch einen unvorsichtigen Schuss fing das Schindeldach des Herrenhauses Feuer und brannte ab. Die Gebäude wurden danach auf den heutigen Standpunkt zurückgesetzt, um den Marktplatz zu erweitern.
Am 2. April 1935 wird die Altertümersammlung des Erzgebirgszweigvereins (EZV) Olbernhau im Rittergut durch Oberlehrer i.R. Max LICHTENBERGER eröffnet. Max Lichtenberger ist auch als erster Leiter der Sammlung verpflichtet worden.
Im Zeitraum 1945 bis 1990 wurden die Gebäude des Rittergutes genutzt (Kinderhort, Haus der Heimat, Waschstützpunkt usw.)
Im Zeitraum von 1992 bis 2008 wurde das Areal schrittweise zum kulturellen Zentrum der Stadt ausgebaut.