Viele Erinnerungen verbinden ihn noch an seine frühe Kindheit in Kandern – der Besuch der Kinderschule, der Abenteuerspielplatz „Alte Tonwerke“ und die Oma, die ihm 1959 die ersten Noten zum Handharmonikaspiel schenkte. Die hat er bis heute aufbewahrt. Ab der zweiten Klasse ging Rolf Aberer in Haltingen zur Schule, da die Familie ein kleines Häuschen der Firma Schumacher beziehen konnte. Seine Mutter Liesel Mieloch, eine begeisterte Turnerin und Handharmonikaspielerin, meldete ihn nicht nur beim TV Haltingen an, sondern auch beim Handharmonikaorchester. Als Rolf Aberer nach der Lehre zum Büromaschinenmechaniker zur Bundeswehr eingezogen wurde, erhielt das Bewegungstalent zu seiner Freude und zum Leidwesen der Mutter als Wehrpflichtiger eine Ausbildung zum Fallschirmspringer, was eigentlich nur Zeitsoldaten vorbehalten war.
Wieder im Zivilleben arbeitete er noch fast zehn Jahre bei der Firma Streck und nahm dann die Gelegenheit wahr, als beim städtischen Werkhof eine Stelle frei wurde. Er ist sich sicher, dass er in den sechs Jahren, als er mit der Kehrmaschine unterwegs war, jede Straße und jedes Gässchen in der Stadt kennenlernte. Ein Glücksfall war für ihn, als ein Hausmeister für die Alte Schule in Haltingen gesucht wurde und er die Stelle bekam. Es war „seine“ Schule, in die er einst selbst ging.