Originaire d'Algérie, Serge Hestroffer débuta sa carrière en métropole dans les rangs amateurs du FC Sète. En 1952, il découvrit la D2 avant de devenir, l'année suivante, titulaire de la formation héraultaise. Ses prestations régulières furent remarquées par le FC Sochaux qu'il rejoignit en 1955. Après deux saisons dans le Doubs, il poursuivit sa carrière au RC Strasbourg, relégué en D2.

Il signa aux Girondins, récemment promus en D1, en octobre 1959 où il retrouva son ancien coéquipier strasbourgeaois, Jean Hédiart. Il fit partie de l'équipe qui termina dernière de Première division.

La saison suivante, il ne joua que 3 matches en D2 avant de partir en direction du Red Star.

A la fin de sa carrière de joueur professionnel, il revint en Gironde pour occuper un poste d'entraîneur-joueur à l'AS Libourne, puis à Lège. Il s'éloigna par la suite définitivement du monde du football.