Am 24. August 1926 wird das vom Reichsfiskus neu erbaute Haus als Finanzamt Olbernhau eröffnet.

Das Finanzamt befand sich seit dem 1. Oktober 1920 im Haus Albertstraße 1.

Im Zeitraum 1945 bis 1950 war die Einrichtung eine Nebenstelle des Finanzamtes Marienberg. Im Juli 1950 wurde die Einrichtung aufgelöst.

Am 1. September 1952 wurde im renovierten und umgebauten Gebäude eine Kindergrippe mit 15 Tagesplätzen eröffnet. Später wurde die Belegung auf 50 Plätze erweitert. 

1953 als Wochen- und Kindergrippe für 130 Kinder.

Im Zeitraum 1953 bis Anfang der 1970er Jahre gab es in der Einrichtung eine "Milchküche".

1969 wurde die Einrichtung durch den Rat des Kreises Marienberg übernommen.

Nach 1990 bleibt die Kindergrippe und der Kindergarten erhalten. Seit 2002 trägt die Einrichtung den Namen "Villa Kunterbunt"

Im Zeitraum 2007 bis 2011 wurde das Haus umgebaut und rekonstruiert.