Die beiden Orte Haselbach und Dörnthal grenzen unmittelbar aneinander. 1434 verkauften Otto und Albrecht, Burggrafen von Leisnig, dem Freiberger Bürger Caspar von Berbisdorf die Herrschaft Lauterstein nebst den umliegenden Orten, darunter auch Haselbach.
Die durch den Ort fließende Haselbach, welche in einem Seitental von Oberdörnthal entspringt und deren Uferzone früher mit mehreren Haselbüschen bewachsen war, hat vermutlich zur Namensentstehung von Haselbach beigetragen, d.h. falls nicht eine Namensübertragung von den thüringischen oder bayerischen Orten nachgewiesen werden kann.
Einer der ersten Bauernhöfe war der Vierseitenhof, teilweise auch als Rittergut bezeichnet. Im Herrenhaus befand sich ein kleines Gefängnis. Ende des 16. Jahrhunderts gehörte noch eine Brauerei und der Gasthof „Zur Stange“ zum Vierseitenhof.
Seit 1895 besteht im Ort ein kleiner holzverarbeitender Betrieb. Nach dem Dreißigjährigen Krieg entstand der Ortsteil Neuhaselbach auf den Fluren des ehemaligen Zweihufengutes von Haselbach.
Am 1. Mai 1974 wurde Haselbach nach Dörnthal eingemeindet. Am 1. Januar 1999 schlossen sich die bis dahin eigenständigen Gemeinden von Dörnthal, Hallbach und Pfaffroda zur Gemeinde Pfaffroda zusammen.
Am 1. Januar 2017 wurde die Gemeinde Pfaffroda in die Stadt Olbernhau eingegliedert. Somit wurde Haselbach zu einem Ortsteil von Olbernhau.
