Der gelernte Heizungsmonteur und Goldschmied Weller begann früh mit dem Boxen und war nebenbei als Gelegenheitsarbeiter tätig. Schon sein Vater Harald, der starb, als Weller 14 Jahre alt war, war lange Jahre Boxer gewesen. Bereits mit sechs Jahren war er als Mitglied im Judo-Club Pforzheim erfolgreicher Judoka. Ab 1966 war Weller beim Boxring Blau-Weiß Pforzheim. Er wurde insbesondere von Trainer Heinz Weishaar gefördert. Weishaar habe ihn entdeckt, ihm habe er seine „ganze Karriere zu verdanken“, so Weller.