Dieser Ort liegt reizvoll in der weiten Talaue der Biela zwischen Pfaffroda und Sayda. Durch Dittmannsdorf führt die Bundesstraße 171.
Die Besiedlung von Dittmannsdorf erfogte wahrscheinlich auch im 13. Jahrhundert. Davon könnte der am 15.05.1900 vom Bauern Theodor Tanneberger beim Roden auf dem Tannelhain gefundene Münzschatz von 400 Meißner und Prager Silbergroschen zeugen. Die erste gesicherte Ewähnung finden wir in einer Urkunde vom 17.07.1438, in welcher Adelheid von Schönberg, Witwe des Siegfried von Schönberg, vom Kurfürsten Friedrich II. von Sachsen belehnt wird.
Damals hieß Dittmannsdorf noch Dytmannsdorf. Bis zur Ablösung der Gutsherrschaft im 19. Jahrhundert blieb Pfaffroda ein reines Bauerndorf, genau wie der 1438 als Dytmanstorf – der Name zeigt den im 15. Jahrhundert häufigen Wandel von –mar zu –mann, also Dorf eines Dietmar – erwähnte Ortsteil, deren Einwohner dem Gut Pfaffroda Dienste leisten und dorthin Abgaben entrichten mussten.
Nach 1850 erreichten einige Bauern durch den Ausbau ihrer Güter einen wachsenden Wohlstand und demonstrierten dies durch einfaches Schmuckwerk, z.B. an den Kumthallen. Am 04.03.1839 wurde im Rahmen der Landgemeindeordnung des Königreiches Sachsen erstmals auch in Dittmannsdorf ein Gemeinderat und der Gemeindevorstand (Bürgermeister) gewählt. Der Gemeinderat ließ ein Gemeindesiegel anfertigen. Es zeigt ein über steiniges Gelände galoppierendes Ross als Sinnbild der Pferdezucht.
Dieses Siegel war verschollen. 1931 fand man es wieder. Der Dresdner Kunst und Wappenmaler Böhnert fertigte den Entwurf für das ab 1931 verwendete Gemeindesiegel mit aufbäumendem Pferd, welches auch heute noch als Ortssymbol gilt und jeweils an den Ortseingängen zu sehen ist.
Eine ganz besondere Art der Information der Einwohner, die einmalig im weiten Umkreis sein dürfte, ist das 1898 hergestellte Strichbrett (im Ort „Strichbradel“ genannt). Es sind zwei aus Holz und in Buchform gefertigte Strichbretter im Umlauf gewesen. In diese wurden Informationen und Bekanntmachungen eingeklebt, die die Einwohner im Strichbrett mit Datum, Uhrzeit und Unterschrift bestätigen mussten. Wer das Strichbrett nicht zügig zum Nächsten beförderte, konnte mit einer Geldstrafe belegt werden. Es wird auch heute noch, wenn auch nicht mehr so oft, durch den Ortschaftsrat genutzt.
Am 1. Januar 1994 wurde Dittmannsdorf nach Pfaffroda eingemeindet. Am 1. Januar 1999 schlossen sich die bis dahin eigenständigen Gemeinden von Dörnthal, Hallbach und Pfaffroda zur Gemeinde Pfaffroda zusammen.
Am 1. Januar 2017 wurde die Gemeinde Pfaffroda in die Stadt Olbernhau eingegliedert. Somit wurde Dittmannsdorf zu einem Ortsteil von Olbernhau.
