Am 3. März 1883 wurde durch die Kircheninspektion Marienberg und dem Kirchenvorstand Olbernhau das neue Pfarrhaus übernommen.
Ein Pfarrhaus wurde schon 1590 nach der Weihe der Stadtkirche errichtet. Dieses Gebäude wurde beim Überfall der Schweden am 7. Mai 1639 niedergebrannt. Es wurde nach 1648 wieder aufgebaut.
Am 24. Januar 1881, gegen 4 Uhr, brach ein Brand im Pfarrhaus aus. Wegen der ungeheuren Kälte waren Löscharbeiten fast unmöglich.
Anschließend wurde das Pfarrhaus in der heutigen Form wieder aufgebaut. Baumeister war GUSTAV NEUBERT.