Nach der Schulzeit führte ihn eine erste Beschäftigung 1947 auf einen Bauernhof. Die Liebe zur Natur, die er dort lernte, begleitete ihn ein Leben lang. Bis zuletzt pflegte er seinen Kleingarten im Lerchengrund. 1948 begann er eine Lehre als Bierbrauer und Mälzer bei der Privatbrauerei Lasser. Nach der Gesellenprüfung arbeitete er für Brauerein in Basel und Rheinfelden/Schweiz.
Die enge Bindung zu Stetten blieb trotz des Arbeitsplatzes jenseits der Grenze. So spielte er etwa in der zweiten Mannschaft des TuS Stetten. 1950 trat Palmert der Zigeuner-Clique Stetten bei und zwei Jahre später den Lörracher Zundeln.